[논문 리뷰] Placing M-Phasis on the Plurality of Hate: A Feature-Based Corpus of Hate Online

Dana Ruiter, Liane Reiners외 7명|arXiv (Cornell University)|2022. 04. 28.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 이질적인 언어로 구성된 약 9,000건의 독일어 및 프랑스어 사용자 댓글로 구성된 다국어, 기능 기반 코퍼스인 M-Phasis를 소개한다. 이 코퍼스는 이분법적 혐오 발언/중립 레이블이 아닌 23개의 세분화된 혐오 발언 기능으로 레이블링되어 있으며, 암시적이고 명시적인 표현을 포함한 혐오 발언 유형의 미세한 분석을 가능하게 한다. 또한 주류 미디어와 극단적 미디어 간의 분야 차이를 드러내며, 특히 소수자 미디어 콘텐츠에 대한 분류기 성능에 영향을 미친다.

ABSTRACT

Even though hate speech (HS) online has been an important object of research in the last decade, most HS-related corpora over-simplify the phenomenon of hate by attempting to label user comments as "hate" or "neutral". This ignores the complex and subjective nature of HS, which limits the real-life applicability of classifiers trained on these corpora. In this study, we present the M-Phasis corpus, a corpus of ~9k German and French user comments collected from migration-related news articles. It goes beyond the "hate"-"neutral" dichotomy and is instead annotated with 23 features, which in combination become descriptors of various types of speech, ranging from critical comments to implicit and explicit expressions of hate. The annotations are performed by 4 native speakers per language and achieve high (0.77 <= k <= 1) inter-annotator agreements. Besides describing the corpus creation and presenting insights from a content, error and domain analysis, we explore its data characteristics by training several classification baselines.

연구 동기 및 목표

• 기존 코퍼스에서 혐오 발언(HS)을 단순화하는 경향을 해결하기 위해, 일반적으로 이분법적 혐오/중립 레이블로 단순화하는 것을 방지한다.
• 온라인 혐오 발언의 복잡성과 맥락성을 반영하는 고품질의 다국어 코퍼스를 구축함으로써, 특히 암시적 형태의 혐오 발언을 포괄한다.
• 다양한 독일어 및 프랑스어 뉴스 매체에서 온 댓글을 포함시켜 다문화적 및 다매체적 비교를 가능하게 한다.
• rich하고 다차원적인 레이블링을 제공함으로써 더 견고하고 맥락 민감한 혐오 발언 분류기 개발을 지원한다.
• 주류 미디어와 극단적 미디어에서의 사용자 댓글에 나타나는 분야 편향을 정량화하고, 이로 인한 모델 일반화에 미치는 영향을 분석한다.

제안 방법

• 주제 관련성을 확보하기 위해 정규 표현식 기반 키워드 필터링을 사용하여 이주 관련 뉴스 기사에서 사용자 댓글을 수집하였으며, 욕설 목록 의존을 피하기 위해 이를 활용하였다.
• 23개의 구체적인 혐오 발언 관련 기능(예: 부정/긍정 평가, 집단 대비, 정서 표현 등)을 포함한 기능 기반 레이블링 체계를 개발하였다.
• 각 댓글은 언어별로 네 명의 모국어 사용자에 의해 레이블링되었으며, 높은 상호 평가 일致도를 달성함 (kappa ≥ 0.77).
• 대화적 맥락을 유지하기 위해 전체 댓글 스레드를 포함시켜 맥락 민감한 분석을 가능하게 하였다.
• 23개 기능에서 파생된 다수의 하위 작업을 기반으로 BERT 기반 모델(중간 마스킹 언어 모델링을 포함하거나 배제한 경우)을 사용해 기초 분류기 모델을 훈련시켰다.
• 유니버설 문장 인코더 임베딩과 코사인 유사도를 사용해 분야 간 차이를 정량화하였으며, K-평균 군집화를 통해 주류 미디어와 극단적 미디어 간의 분리가 검증되었다.

실험 결과

연구 질문

• RQ1 독일어 및 프랑스어 미디어에서 이주 관련 온라인 논의에 암시적, 명시적, 비판적, 정서적으로 강한 표현 등 다양한 유형의 혐오 발언이 어떻게 나타나는가?
• RQ2 매체의 정치적 성향(주류 대비 극단적)이 사용자 댓글의 언어적 및 정서적 프로파일에 얼마나 영향을 미치는가?
• RQ3 훈련 데이터의 분야 편향(예: 주류 미디어의 과잉 표현)이 소수자 미디어 유형에서의 혐오 발언 분류기 성능에 어떤 영향을 미치는가?
• RQ4 중간 마스킹 언어 모델링(MLM) 미세조정이 다양한 미디어 분야 간 혐오 발언 분류기의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 실제 온라인 논의에서 혐오 발언의 23개 기능 차원 간 상관관계는 어떻게 나타나는가?

주요 결과

• M-Phasis 코퍼스는 약 9,000건의 독일어 및 프랑스어 사용자 댓글을 포함하며, 다양한 뉴스 매체에서 수집되었고, 23개의 혐오 발언 관련 기능으로 레이블링되었으며, 고도의 상호 평가 일치도를 달성함 (kappa ≥ 0.77).
• 독일어 데이터에서 분류기 성능은 극단적 미디어 댓글에서 주류 미디어 댓글보다 유의미하게 낮게 나타났으며, 특히 중간 MLM 미세조정을 거친 모델에서 이는 분야 편향의 확산을 시사한다.
• 독일어 댓글 데이터는 강한 분야 분리가 나타났다: 77.2%의 댓글이 주류 매체에서 유래하여, 이는 소수자 미디어 콘텐츠에서의 모델 일반화에 악영향을 미치는 데이터 불균형을 초래한다.
• 프랑스어에서는 세 가지 분야 분류가 나타났다(극단적, 주류, 지적): 주류 또는 지적 매체에서 55.5%의 댓글이 유래하여 독일어에 비해 더 균형 잡힌 미디어 분포를 보였다.
• K-평균 군집화를 통해 독일어 댓글 임베딩(k=2)를 분석한 결과, 수동으로 나누어진 주류/극단적 분류를 정확히 복원하였으며, 이는 언어적 차이가 매체 유형과 일치함을 확인한다.
• 오류 분석 결과, 모델은 암시적 혐오 및 미묘한 평가 언어를 포함한 하위 작업에서 가장 어려움을 겪었으며, 이는 명시적 욕설을 넘어서는 세분화된 혐오 발언을 포착하는 데서 여전히 도전 과제임을 시사한다.