[논문 리뷰] How is Your Mood When Writing Sexist tweets? Detecting the Emotion Type and Intensity of Emotion Using Natural Language Processing Techniques

Sima Sharifirad, Borna Jafarpour외 1명|arXiv (Cornell University)|2019. 01. 28.

Hate Speech and Cyberbullying Detection참고 문헌 13인용 수 12

한 줄 요약

이 논문은 SemEval-2018 Affect in Tweets 데이터셋을 사용하여 성차별적 트윗에서 정서 유형과 강도를 탐지하기 위한 새로운 NLP 접근법을 제안한다. 연구는 간접적 괴롭힘, 정보 위협, 성적 괴롭힘, 신체적 괴롭힘의 네 가지 성차별적 트윗 유형에 걸쳐 고유한 정서적 프로필을 규명하며, 다양한 형태의 성차별이 고유한 정서 상태와 연관되어 있음을 입증한다. 이는 성차별적 콘텐츠에 대한 정서 탐지에 관한 첫 번째 심층 연구이다.

ABSTRACT

Online social platforms have been the battlefield of users with different emotions and attitudes toward each other in recent years. While sexism has been considered as a category of hateful speech in the literature, there is no comprehensive definition and category of sexism attracting natural language processing techniques. Categorizing sexism as either benevolent or hostile sexism is so broad that it easily ignores the other categories of sexism on social media. Sharifirad S and Matwin S 2018 proposed a well-defined category of sexism including indirect harassment, information threat, sexual harassment and physical harassment, inspired from social science for the purpose of natural language processing techniques. In this article, we take advantage of a newly released dataset in SemEval-2018 task1: Affect in tweets, to show the type of emotion and intensity of emotion in each category. We train, test and evaluate different classification methods on the SemEval- 2018 dataset and choose the classifier with highest accuracy for testing on each category of sexist tweets to know the mental state and the affectual state of the user who tweets in each category. It is a nice avenue to explore because not all the tweets are directly sexist and they carry different emotions from the users. This is the first work experimenting on affect detection this in depth on sexist tweets. Based on our best knowledge they are all new contributions to the field; we are the first to demonstrate the power of such in-depth sentiment analysis on the sexist tweets.

연구 동기 및 목표

• 성차별적 트윗을 작성하는 사용자의 정서 상태를 분석하여, 혐오 발언의 이元 분류를 넘어서는 것을 목적으로 한다.
• 성차별적 온라인 콘텐츠에서 정서 유형과 강도를 동시에 탐지할 수 있는 NLP 모델을 개발하고 평가하는 것.
• 다양한 성차별 유형(예: 적대적 vs. 간접적)이 고유한 정서적 프로필과 연관되어 있는지 탐색하는 것.
• 특히 성차별의 맥락에서 온라인 혐오 발언의 정서 상태에 대해 더 세밀한 이해를 기여하는 것.
• 사회 미디어에서 성차별적 콘텐츠를 보다 효과적으로 식별하고 대응할 수 있는 정서 인식 기반 탐지 시스템의 기반을 마련하는 것.

제안 방법

• 트윗의 정서 탐지에 사용된 SemEval-2018 Task 1: Affect in Tweets 데이터셋을 활용하였다.
• 정서 유형(예: 분노, 두려움, 기쁨 등)과 강도(낮음, 중간, 높음)를 식별하기 위해 여러 분류 모델을 훈련하고 평가하였다.
• 한 트윗당 다중 정서를 탐지할 수 있도록 다중 레이블 분류 프레임워크를 적용하여 정서의 복잡성을 반영하였다.
• 탐지된 정서를 간접적 괴롭힘, 정보 위협, 성적 괴롭힘, 신체적 괴롭힘의 네 가지 사전 정의된 성차별 유형에 매핑하였다.
• 각 성차별적 트윗 유형에 대한 후속 분석을 위해 정확도 기반으로 최고 성능을 보인 분류기를 선정하였다.
• 통계적 및 질적 분석을 통해 정서적 프로필과 특정 성차별적 표현 형태 사이의 연관성을 규명하였다.

실험 결과

연구 질문

• RQ1 다양한 유형의 성차별적 트윗에서 가장 흔하게 표현되는 정서는 무엇인가?
• RQ2 다양한 형태의 성차별적 콘텐츠 간 정서의 강도는 어떻게 달라지는가?
• RQ3 특정 성차별적 행동 유형(예: 간접적 vs. 신체적 괴롭힘)과 연관된 고유한 정서적 프로필이 존재하는가?
• RQ4 NLP 모델은 성차별적 소셜 미디어 콘텐츠에서 정서 유형과 강도를 효과적으로 탐지할 수 있는가?
• RQ5 공개적으로 적대적인 성차별적 콘텐츠를 게시하는 사용자와 더 미묘한 형태의 성차별을 표현하는 사용자 간 정서 상태는 어느 정도 다를까?

주요 결과

• 성차별적 트윗의 다양한 유형은 고유한 정서적 프로필과 연관되어 있으며, 이는 모든 성차별적 콘텐츠가 동일한 정서 상태에서 기인하는 것은 아님을 시사한다.
• 성차별적 트윗에서 가장 흔한 정서는 분노와 두려움이었으며, 이들의 강도 수준은 성차별의 형태에 따라 달라졌다.
• 신체적 괴롭힘으로 분류된 트윗은 특히 분노와 두려움의 강도가 가장 높았다.
• 간접적 괴롭힘과 정보 위협 유형은 전반적으로 중간에서 높은 수준의 정서 강도를 보이며, 전략적 또는 위협적인 의도를 암시한다.
• 최고 성능을 보인 분류기는 정서 유형과 강도 탐지에서 높은 정확도를 기록하여, 성차별적 콘텐츠에서 정교한 정서 탐지의 가능성을 입증하였다.
• 본 연구는 정서 인식 기반 NLP 모델이 성차별적 온라인 행동 내에서 미묘한 심리적 패턴을 드러내어, 콘텐츠 모니터링 및 개입에 새로운 통찰을 제공할 수 있음을 보여준다.