[논문 리뷰] When a Tweet is Actually Sexist. A more Comprehensive Classification of Different Online Harassment Categories and The Challenges in NLP

Sima Sharifirad, Stan Matwin|arXiv (Cornell University)|2019. 02. 27.

Hate Speech and Cyberbullying Detection참고 문헌 12인용 수 20

한 줄 요약

이 논문은 트위터에서의 온라인 괴롭힘에 대해 다각도로 분류한 개선된 분류 체계를 제안하며, 간접 괴롭힘, 정보 위협, 성적 괴롭힘, 신체적 괴롭힘, 비-sexist 여부의 다섯 가지 유형을 도입한다. 수동으로 주석 처리된 데이터셋을 기반으로 한 지도 학습을 통해, 기존의 적대적/선호적 이분법적 분류를 넘어서는 더 미묘하고 복잡한 형태의 성차별을 탐지하는 데 성공하며, 더 효과적인 NLP 기반 혐오 발언 탐지 시스템의 기초를 마련한다.

ABSTRACT

Sexism is very common in social media and makes the boundaries of freedom tighter for feminist and female users. There is still no comprehensive classification of sexism attracting natural language processing techniques. Categorizing sexism in social media in the categories of hostile or benevolent sexism are so general that simply ignores the other types of sexism happening in these media. This paper proposes a more comprehensive and in-depth categories of online harassment in social media e.g. twitter into the following categories, "Indirect harassment", "Information threat", "sexual harassment", "Physical harassment" and "Not sexist" and address the challenge of labeling them along with presenting the classification result of the categories. It is preliminary work applying machine learning to learn the concept of sexism and distinguishes itself by looking at more precise categories of sexism in social media.

연구 동기 및 목표

• 기존의 이분법적 분류(적대적 대비 선호적 성차별)가 온라인 괴롭힘의 전반적인 스펙트럼을 포괄하지 못하는 한계를 해결하기 위해.
• 특히 트위터와 같은 소셜 미디어에서 온라인 괴롭힘을 더 포괄적이고 세분화된 프레임워크로 분류하기 위해.
• NLP 기법을 사용할 때 다양한 형태의 성차별을 주석 처리하고 탐지하는 데 직면한 과제를 조사하기 위해.
• 미묘하고 간접적인 형태의 성차별 콘텐츠를 탐지할 수 있는 더 나은 기계 학습 모델의 기초를 제공하기 위해.

제안 방법

• 저자들은 간접 괴롭힘, 정보 위협, 성적 괴롭힘, 신체적 괴롭힘, 비-sexist 여부의 다섯 가지 유형의 온라인 괴롭힘을 정의한다.
• 제안된 분류 체계를 사용하여 인간 평가자가 수동으로 주석 처리한 트위터 게시물 데이터셋을 구축하여 주석 일관성과 정확도를 확보한다.
• 수동 주석 처리된 데이터셋을 기반으로 지도 학습 모델을 훈련시켜 트윗을 다섯 가지 사전 정의된 카테고리로 분류한다.
• 정밀도, 재현율, F1 점수와 같은 표준 NLP 메트릭을 사용하여 모델 성능을 평가함으로써 분류 효과성을 평가한다.
• 주석 처리 과제를 해결하기 위해 평가자 간 일치도를 분석하고, 간접적이거나 암시적인 성차별 언어를 분류할 때 발생하는 모호성에 대해 논의한다.
• 맥락 인식 분류에 중점을 두며, 성차별 콘텐츠가 종종 간접적이거나 암호화된 형태로 나타나기 때문에 이를 고려한다.

실험 결과

연구 질문

• RQ1 기존의 적대적/선호적 이분법을 넘어서, 트위터에서의 온라인 괴롭힘을 더 세분화되고 의미 있는 카테고리로 분류할 수 있는 방법은 무엇인가?
• RQ2 NLP 기법을 사용할 때 간접적이고 미묘한 형태의 성차별을 주석 처리하는 데 있어 핵심 과제는 무엇인가?
• RQ3 기계 학습 모델은 성적 위협과 신체적 위협을 포함한 다양한 유형의 온라인 괴롭힘 사이를 얼마나 잘 구분할 수 있는가?
• RQ4 더 포괄적인 분류 체계는 이분법적 분류에 비해 성차별 콘텐츠 탐지에 얼마나 향상되는가?
• RQ5 온라인 괴롭힘 주석 처리에서 주로 발생하는 모호성과 이견의 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 다섯 가지 카테고리 분류 체계는 기존의 이분법적 모델이 놓치는 간접적이고 위협 기반의 행동을 포함한 다양한 형태의 온라인 괴롭힘을 더 정확하게 식별할 수 있도록 한다.
• 연구는 간접 괴롭힘과 정보 위협이 널리 퍼져 있지만, 여전히 인식되지 않는 온라인 성차별의 형태임을 입증한다.
• 평가자 간 일치도는 중간 수준이었으며, 이는 미묘하거나 맥락에 의존하는 성차별 언어를 주석 처리하는 데 복잡성과 주관성이 내재되어 있음을 시사한다.
• 기계 학습 모델은 새로운 분류 체계에서 측정 가능한 성능을 달성하였으며, 적절한 주석 처리를 통해 세분화된 분류가 가능하다는 것을 보여준다.
• 결과적으로 현재의 NLP 시스템은 단순화된 분류 체계에 의존함으로써 성차별 콘텐츠를 상당히 미처 탐지하지 못할 수 있음을 시사한다.
• 논문은 더 포괄적인 프레임워크가 소셜 미디어에서 효과적이고 맥락 인식 기반 혐오 발언 탐지 도구를 개발하기 위해 필수적임을 확립한다.