[논문 리뷰] Let-Mi: An Arabic Levantine Twitter Dataset for Misogynistic Language

Hala Mulki, Bilal Ghanem|arXiv (Cornell University)|2021. 03. 18.

Hate Speech and Cyberbullying Detection참고 문헌 25인용 수 13

한 줄 요약

이 논문은 레바논의 17월 10일 2019년 시위 기간 동안 트위터에서 수집된 6,550건의 수동 주석이 부여된 트윗을 포함하는 Let-Mi를 소개한다. 이는 레바논어 방언에서 성차별적 언어를 탐지하기 위한 첫 번째 벤치마크 데이터셋으로, 7개의 성차별 범주에 해당한다. 최신 기술 모델, 특히 다중 작업 학습(MTL)을 사용해 평가한 결과, 성차별 탐지에서 뛰어난 성능을 기록했으며, MTL은 핵심 과제에서 F1 점수를 최대 4% 향상시켰다. 이는 아랍어 소셜 미디어에서의 온라인 성기반 폭력에 대비하는 데 있어 중요한 단계이다.

ABSTRACT

Online misogyny has become an increasing worry for Arab women who experience gender-based online abuse on a daily basis. Misogyny automatic detection systems can assist in the prohibition of anti-women Arabic toxic content. Developing such systems is hindered by the lack of the Arabic misogyny benchmark datasets. In this paper, we introduce an Arabic Levantine Twitter dataset for Misogynistic language (LeT-Mi) to be the first benchmark dataset for Arabic misogyny. We further provide a detailed review of the dataset creation and annotation phases. The consistency of the annotations for the proposed dataset was emphasized through inter-rater agreement evaluation measures. Moreover, Let-Mi was used as an evaluation dataset through binary/multi-/target classification tasks conducted by several state-of-the-art machine learning systems along with Multi-Task Learning (MTL) configuration. The obtained results indicated that the performances achieved by the used systems are consistent with state-of-the-art results for languages other than Arabic, while employing MTL improved the performance of the misogyny/target classification tasks.

연구 동기 및 목표

• 레바논어 방언을 포함한 아랍어 성차별 데이터셋의 부족 문제를 해결하기 위해.
• 아랍어 소셜 미디어에서 성차별적 언어 탐지에 적합한 고품질 수동 주석 데이터셋을 구축하기 위해.
• 제안된 데이터셋을 기반으로 최신 기술 기계 학습 모델의 성차별 탐지 과제에 대한 평가를 수행하기 위해.
• 다중 작업 학습(MTL)이 성차별 및 대상 탐지 과제의 분류 성능 향상에 미치는 영향을 조사하기 위해.
• 향후 사자감, 다중 레이블 분류, 아랍어 온라인 혐오 발언의 문화적 특성 연구를 위한 기반을 제공하기 위해.

제안 방법

• 데이터셋은 레바논의 17월 10일 2019년 시위 기간 동안 트위터에서 수집되었으며, 여성 기자들을 향한 트윗에 집중하였다.
• 수신자—레바논어 방언을 모국어로 사용하는 자—는 각 트윗을 중립 또는 7개의 성차별 범주 중 하나로 레이블링하였다: 낙제, 지배, 저주/모욕, 성적 괴롭힘, 스테레오타입/물질화, 방향 전환, 폭력 위협.
• 수신자 간 일致성 확보를 위해 코헨의 카파와 크리펜도르의 알파를 사용해 수신자 간 일致성 수준을 측정하였다.
• 최신 기술 모델, BERT 및 다중 작업 학습(MTL) 구성 등을 사용해 이진 및 다중 클래스 분류 과제를 통해 데이터셋을 평가하였다.
• 오류 분석을 통해 사자감, 혼합 레이블, 희귀 범주, 잘못된 성차별 사례 등 도전 과제를 식별하였다.
• 향후 작업을 위해 다중 레이블 버전의 데이터셋 제작 계획이 수립되어 있다.

실험 결과

연구 질문

• RQ1 최신 기술 모델은 레바논어 방언에서 트위터 성차별 언어 탐지에 얼마나 효과적인가?
• RQ2 다중 작업 학습(MTL)은 아랍어에서 성차별 및 대상 분류 과제의 성능 향상에 얼마나 기여하는가?
• RQ3 아랍어, 특히 레바논어에서 성차별 콘텐츠 분류의 주요 과제는 무엇인가?
• RQ4 문화적 표현, 사자감, 고유한 모욕어가 모델 일반화 및 분류 정확도에 어떤 영향을 미치는가?
• RQ5 아랍어 성차별 탐지용 벤치마크 데이터셋은 다양한 NLP 과제에서 일관되고 신뢰할 수 있는 모델 평가를 지원할 수 있는가?

주요 결과

• Let-Mi 데이터셋은 높은 수신자 간 일치도를 기록했으며, 코헨의 카파와 크리펜도르의 알파를 통해 주석 일치성 수준이 높음을 확인하였다.
• 최신 기술 모델은 비아랍어 언어에서의 최신 기술 성능 수준과 유사한 성능을 기록했으며, 이는 데이터셋이 다국어 혐오 발언 탐지에 활용될 수 있음을 시사한다.
• 다중 작업 학습(MTL)은 성차별 및 대상 분류 과제에서 평균 F1 점수를 4% 향상시켜, 자원이 제한된 환경에서의 효과성을 입증하였다.
• 범주 분류 과제는 F1 = 0.34로 낮은 성능을 보였으며, 주로 방향 전환, 지배, 성적 괴롭힘과 같은 자원이 부족한 범주에서 기인하였다.
• 사자감, 혼합 레이블, 고유한 모욕어 표현, 잘못된 성차별 사례는 특히 미묘하거나 문화적으로 특수한 표현에서 잘못된 분류의 주요 원인이었다.
• 데이터셋에는 중립적이거나 여성 대상이 아닌 공격적 트윗도 포함되어 있어, 성차별 콘텐츠와 일반적인 독성 콘텐츠를 구분하는 데 어려움이 있음을 보여준다.