[논문 리뷰] Automated Detection of Cyberbullying Against Women and Immigrants and Cross-domain Adaptability

Thushari Atapattu, Mahen Herath외 2명|arXiv (Cornell University)|2020. 12. 04.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 SemEval 2019 HatEval 데이터셋을 사용하여 여성과 이민자들을 대상으로 한 사이버불링을 자동으로 탐지하기 위한 DistilBERT 기반 앙상블 모델을 제안한다. 이 모델은 혐오 발언(과제 A)에서 F1 스코어 0.73, 공격성/대상 분류(과제 B)에서 F1 스코어 0.74를 기록하였으며, 외부 벤치마크에서 약 0.7 F1의 성능을 보이며 도메인 간 일반화 능력을 입증하였다. 또한 향후 연구를 위한 오분류된 트윗에 대한 정성적 코드 체계를 제공한다.

ABSTRACT

Cyberbullying is a prevalent and growing social problem due to the surge of social media technology usage. Minorities, women, and adolescents are among the common victims of cyberbullying. Despite the advancement of NLP technologies, the automated cyberbullying detection remains challenging. This paper focuses on advancing the technology using state-of-the-art NLP techniques. We use a Twitter dataset from SemEval 2019 - Task 5(HatEval) on hate speech against women and immigrants. Our best performing ensemble model based on DistilBERT has achieved 0.73 and 0.74 of F1 score in the task of classifying hate speech (Task A) and aggressiveness and target (Task B) respectively. We adapt the ensemble model developed for Task A to classify offensive language in external datasets and achieved ~0.7 of F1 score using three benchmark datasets, enabling promising results for cross-domain adaptability. We conduct a qualitative analysis of misclassified tweets to provide insightful recommendations for future cyberbullying research.

연구 동기 및 목표

• 기존 시스템을 능가하는 성능을 보이는 기계학습 모델을 개발하여 여성과 이민자들을 대상으로 한 사이버불링을 분류하는 데 목적이 있다.
• 오분류된 트윗의 내용을 식별하고 분류하여 모델의 한계를 이해하는 데 목적이 있다.
• 훈련된 모델이 외부 혐오 발언 및 공격적 언어 데이터셋에 대해 도메인 간 일반화 능력을 얼마나 잘 보이는지 평가하는 데 목적이 있다.
• 오분류된 사이버불링 콘텐츠에 대한 기준 코드 체계를 제공하여 데이터셋 품질 향상과 모델의 강건성 향상에 기여하는 데 목적이 있다.

제안 방법

• SemEval 2019 HatEval 데이터셋을 기반으로 DistilBERT 기반 앙상블 모델을 미세조정하여 세 가지 하위 과제(혐오 발언 탐지, 공격성 분류, 대상 식별)를 수행한다.
• 원본 HatEval 데이터를 병합하고 무작위로 재배치한 후 재분할하여 성능 향상을 위한 조정된 데이터셋을 구축한다.
• 주제 코드 분석을 활용하여 오분류된 트윗에 대한 정성적 콘텐츠 분석을 수행하여 반복적인 오류 패턴을 식별한다.
• 과제 A에서 가장 높은 성능을 보인 모델을 외부 데이터셋(OffensEval 및 Hate & Offense 벤치마크 포함)에 적용하여 도메인 간 적응 능력을 평가한다.
• 향후 연구에서 어휘 자원과 다수의 평가자들을 활용하여 오분류 코드를 정교화하고 평가 편향을 줄일 것이다.
• 다양한 조정된 데이터셋에 대한 평균 성능을 보고하여 복제 가능성 향상과 모델 강건성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 여성과 이민자들을 대상으로 한 사이버불링을 분류하는 데 있어 현재의 시스템을 능가하는 기계학습 모델을 구축할 수 있는가?
• RQ2 오분류된 트윗의 특성과 분류 기준은 무엇이며, 이를 의미 있게 분류할 수 있는가?
• RQ3 HatEval 데이터셋에서 훈련된 모델이 혐오 발언 및 공격적 언어 탐지에 대한 다른 벤치마크 데이터셋으로 효과적으로 일반화될 수 있는가?

주요 결과

• DistilBERT 기반 앙상블 모델은 과제 A(혐오 발언 탐지)에서 F1 스코어 0.73, 과제 B(공격성 및 대상 분류)에서 F1 스코어 0.74를 기록하였으며, 과제 B에서 이전의 베이스라인을 능가하였다.
• 모델는 외부 데이터셋으로의 일반화 능력이 상당히 뛰어나 OffensEval 및 Hate & Offense 벤치마크에서 약 0.7 F1의 스코어를 기록하여 강력한 도메인 간 적응 능력을 입증하였다.
• 오분류된 트윗에 대한 정성적 분석을 통해 여섯 가지의 구체적인 분류 범주를 확인하였다: 맥락 부족(CNTX), 성별 관련 문제(GEND), 슬랭어 처리 문제(SLNG), 원본 애너테이션 오류(ERROR), 모델 오분류(MSCL), 기타 분류되지 않은 문제(OTHER).
• 식별된 오분류 분류 범주들은 향후 연구를 위한 기초 코드 체계를 제공하며, 사이버불링 탐지 분야에서 더 나은 데이터셋 설계와 모델 평가를 가능하게 한다.
• 논문은 맥락의 모호성과 슬랭어 문제로 인한 한계를 강조하며, 향후 모델가 언어의 진화와 맥락 이해 능력을 통합하여 성능 향상을 도모해야 한다고 제안한다.
• 연구자들은 다양한 맥락 기반 예시를 포함한 훈련 데이터 증강과 어휘 자원을 활용한 다수의 평가자 프레임워크 도입을 통해 평가 신뢰도 향상과 모델 일반화 능력 향상을 권장한다.