[논문 리뷰] Detecting Harmful Online Conversational Content towards LGBTQIA+ Individuals

Jamell Dacon, Harry Shomer외 2명|arXiv (Cornell University)|2022. 06. 15.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 다중 레이블 데이터셋을 도입하여 반 레즈비언·Lesbian·Gay·Bisexual·Transgender·Queer·Questioning·Intersex·Ace·+ (LGBTQIA+) 성향의 대화적 콘텐츠를 탐지한다. 기존 기계학습 기법(SVM, 로지스틱 회귀)과 미세조정된 대규모 언어 모델(BERT, RoBERTa, HateBERT)을 활용해 6개의 유해 언어 유형을 분류한다. 결과적으로 BERT는 대부분의 레이블에서 F1 점수 ≥0.82를 기록하여 낮은 자원의 위협 레이블 문제에도 불구하고 반 LGBTQIA+ 폭력성 탐지에서 뛰어난 성능을 보였다.

ABSTRACT

Online discussions, panels, talk page edits, etc., often contain harmful conversational content i.e., hate speech, death threats and offensive language, especially towards certain demographic groups. For example, individuals who identify as members of the LGBTQIA+ community and/or BIPOC (Black, Indigenous, People of Color) are at higher risk for abuse and harassment online. In this work, we first introduce a real-world dataset that will enable us to study and understand harmful online conversational content. Then, we conduct several exploratory data analysis experiments to gain deeper insights from the dataset. We later describe our approach for detecting harmful online Anti-LGBTQIA+ conversational content, and finally, we implement two baseline machine learning models (i.e., Support Vector Machine and Logistic Regression), and fine-tune 3 pre-trained large language models (BERT, RoBERTa, and HateBERT). Our findings verify that large language models can achieve very promising performance on detecting online Anti-LGBTQIA+ conversational content detection tasks.

연구 동기 및 목표

• 온라인 대화, 특히 Reddit와 같은 플랫폼에서 증가하는 반 LGBTQIA+ 혐오 발언, 모욕, 비속어 사용 문제를 해결하기 위해.
• LGBTQIA+ 개인을 대상으로 하는 6개의 다른 폭력성 유형에 대해 자동 탐지가 가능한 고품질의 다중 레이블 데이터셋을 구축하기 위해.
• 기존 기계학습 모델과 미세조정된 대규모 언어 모델이 반 LGBTQIA+ 대화 폭력성 탐지에 얼마나 효과적인지 평가하기 위해.
• 미래의 공동 작업 및 콘텐츠 모니터링 분야에서 윤리적인 AI 도입을 지원하기 위해 더 안전하고 포용적인 온라인 환경 조성하기 위해.

제안 방법

• RedditBias에서 성적 지향 차원을 변형하여, LGBTQIA+ 개인을 대상으로 하는 6개의 다른 폭력성 언어 유형(유해성, 심각한 유해성, 음란성, 위협, 모욕, 정체성 공격)에 따라 댓글을 분류하고 레이블링하였다.
• 민감하고 스테레오 타입이며 모욕적인 콘텐츠를 레이블링하는 데 있어 데이터 품질과 신뢰성을 확보하기 위해 평가자들의 인간 평가를 실시하였다.
• 기본 모델로 지원 벡터 머신(SVM)과 로지스틱 회귀를 구현하여 유해 콘텐츠의 이진 및 다중 레이블 분류를 수행하였다.
• 데이터셋에 대해 BERT, RoBERTa, HateBERT의 3개의 사전 훈련된 대규모 언어 모델을 미세조정하여 반 LGBTQIA+ 정서 및 언어 탐지 성능을 평가하였다.
• 자동 레이블링을 위해 Detoxify를 활용하여 인간 레이블링 결과를 검증하고 교차 확인함으로써 데이터셋 전체의 일관성을 확보하였다.
• 미래의 연구 및 반 LGBTQIA+ 콘텐츠 탐지 분야의 공동 작업을 지원하기 위해 전체 다중 레이블 데이터셋과 소스 코드를 공개하였다.

실험 결과

연구 질문

• RQ1 다중 레이블 데이터셋은 정체성 공격, 위협, 비속어적 스테레오 타입과 같은 반 LGBTQIA+ 폭력성 언어의 미묘한 형태를 효과적으로 포괄할 수 있는가?
• RQ2 기존 기계학습 모델과 미세조정된 대규모 언어 모델 간에 반 LGBTQIA+ 대화 폭력성 탐지 성능에 어떤 차이가 있는가?
• RQ3 BERT나 HateBERT와 같은 사전 훈련된 언어 모델이 미묘하거나 맥락 의존적인 반 LGBTQIA+ 비속어나 미크로아그레션을 얼마나 일반화하여 탐지할 수 있는가?
• RQ4 데이터셋의 클래스 불균형으로 인해 '위협' 레이블과 같은 저자원 레이블을 탐지할 때 성능 상실의 정도는 어느 정도인가?

주요 결과

• BERT는 '위협' 레이블 제외한 모든 레이블에서 F1 점수 ≥0.82를 기록하여 반 LGBTQIA+ 폭력성 콘텐츠 탐지에서 뛰어난 성능을 보였다.
• HateBERT는 혐오 발언 탐지 목적의 사전 훈련을 받았음에도 불구하고 BERT에 비해 성능이 열등하여, 일반 목적의 LLM이 이 작업에 더 효과적일 수 있음을 시사한다.
• 데이터셋 분석 결과 정체성 공격과 모욕이 가장 빈번한 폭력성 유형으로 나타났으며, Reddit의 예시들 전반에서 높은 폭력성 점수를 기록하였다.
• '위협' 레이블은 샘플 수가 가장 적어 모든 모델에서 가장 낮은 F1 점수를 기록하였으며, 데이터 불균형이 핵심 과제임을 입증하였다.
• 인간 레이블링 결과는 높은 일관성을 보였으며, 향후 공동 작업 및 모델 평가를 위한 데이터셋 신뢰성의 타당성을 입증하였다.
• 본 연구는 대규모 언어 모델가 반 LGBTQIA+ 대화 콘텐츠를 높은 정밀도와 재현율로 효과적으로 미세조정하여 탐지할 수 있음을 확인하였다.