[논문 리뷰] Annotating for Hate Speech: The MaNeCo Corpus and Some Input from Critical Discourse Analysis

Stavros Assimakopoulos, Rebecca Vella Muskat외 2명|arXiv (Cornell University)|2020. 08. 14.

Hate Speech and Cyberbullying Detection참고 문헌 54인용 수 10

한 줄 요약

이 논문은 말타어 온라인 신문 커멘트의 비판적 담론 분석을 바탕으로 사용자 생성 웹 콘텐츠에서 혐오 발언을 탐지하기 위한 다층 주석 체계를 제안한다. '혐오 발언'에 직접 레이블을 붙이지 않고 차별적 담론의 특성과 대상을 중심으로 다룸으로써 이중 분류보다 높은 일치도를 달성하여, 혐오 발언 탐지 NLP 모델 훈련을 위한 더 신뢰할 수 있는 기반을 제공한다.

ABSTRACT

This paper presents a novel scheme for the annotation of hate speech in corpora of Web 2.0 commentary. The proposed scheme is motivated by the critical analysis of posts made in reaction to news reports on the Mediterranean migration crisis and LGBTIQ+ matters in Malta, which was conducted under the auspices of the EU-funded C.O.N.T.A.C.T. project. Based on the realization that hate speech is not a clear-cut category to begin with, appears to belong to a continuum of discriminatory discourse and is often realized through the use of indirect linguistic means, it is argued that annotation schemes for its detection should refrain from directly including the label 'hate speech,' as different annotators might have different thresholds as to what constitutes hate speech and what not. In view of this, we suggest a multi-layer annotation scheme, which is pilot-tested against a binary +/- hate speech classification and appears to yield higher inter-annotator agreement. Motivating the postulation of our scheme, we then present the MaNeCo corpus on which it will eventually be used; a substantial corpus of on-line newspaper comments spanning 10 years.

연구 동기 및 목표

• 주관적인 기준으로 인해 혐오 발언 주석에 일관성이 떨어지는 문제를 해결하기 위해.
• 특히 말타와 같은 다국어 및 혼합 언어 환경에서의 웹 2.0 사용자 생성 콘텐츠에 대해 더 신뢰할 수 있는 주석 프레임워크를 개발하기 위해.
• 10년에 걸친 말타어 신문 코멘터리의 고품질 다중 주석 코퍼스(MaNeCo)를 구축하여 혐오 발언 연구를 위해 활용하기 위해.
• 다양한 대상 집단(예: 이민자 vs. 레즈비언, 게이, 비이성애자, intersex, 풍자, 풍자적 성소수자 공동체 등) 간에 차별적 담론의 언어적 특징이 어떻게 다름을 탐색하기 위해.
• 주석된 대상 기반으로 도메인 특화 훈련 데이터 선택이 가능하게 하여 향후 전이 학습을 지원하기 위해.

제안 방법

• 직접적인 혐오 발언 레이블링을 피하고 차별적 담론의 탐지와 분리하여 주관성을 줄이기 위해 다층 주석 체계를 설계한다.
• 말타 신문의 이민 및 레즈비언·게이·비이성애자·인터섹스·퀴어 등 관련 주제의 온라인 코멘터리 100건을 대상으로 피ilot 데이터셋을 활용해 주석을 수행하며, 대상 집단, 담론 유형, 언어적 표시를 기준으로 주석한다.
• 비판적 담론 분석(CDA)을 활용해 혐오 발언에 포함된 간접적이고 이데올로기적으로 치중된 언어 패턴을 식별한다.
• 이중 분류 기반 혐오 발언 분류와 비교하여 주석 일치도와 신뢰성을 평가하기 위해 체계를 피ilot 테스트한다.
• 다양한 혼합 언어 표현과 비표준 철자로 이루어진 10년 분량의 MaNeCo 코퍼스(말타어 온라인 신문 코멘터리)를 주석 프레임워크의 시험대에 올린다.
• 다층 주석 체계와 이중 분류 체계 간의 주석 일치도 점수를 비교하여 체계의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 다층 주석 체계는 이중 분류 기반 혐오 발언 분류에 비해 주석 일치도를 어떻게 향상시키는가?
• RQ2 온라인 코멘터리에서 이민자와 레즈비언·게이·비이성애자·인터섹스·퀴어 공동체를 향한 혐오 발언은 어떤 언어적 및 담론적 특징을 보이는가?
• RQ3 비판적 담론 분석은 더 신뢰할 수 있는 혐오 발언 주석 체계 설계에 얼마나 기여할 수 있는가?
• RQ4 다단계 주석 프레임워크는 다양한 도메인 간 혐오 발언 탐지에서 더 효과적인 전이 학습을 지원할 수 있는가?
• RQ5 간접적이고 이데올로기적으로 치중된 표현은 명시적으로 '혐오 발언'으로 분류되지 않더라도 어떻게 차별적 담론을 구성하는가?

주요 결과

• 다층 주석 체계는 이중 분류보다 더 높은 주석 일치도를 보였으며, 이는 차별적 담론 주석의 신뢰성 향상을 시사한다.
• 주석자가 특정 담론 특성과 대상을 중심으로 주석할 때 직접적으로 '혐오 발언'인지 여부를 판단하는 것보다 더 일관된 결과를 보였다.
• 피ilot 연구에서 서로 다른 언어적 패턴이 드러났다: 이민자는 침략과 '위험한' 또는 '감사하지 않은'으로 묘사되는 은유를 통해 프레임이 짓고, 레즈비언·게이·비이성애자·인터섹스·퀴어 공동체는 '과죄자' 또는 '이상한' 등 도덕적이고 성경적 은유로 묘사되었다.
• 10년에 걸친 말타어 온라인 신문 코멘터리로 구성된 MaNeCo 코퍼스는 상당한 양의 혼합 언어 표현과 비표준 철자를 포함하고 있어 실제 웹 데이터의 과제를 반영하고 있다.
• 이 연구는 혐오 발언이 차별적 담론의 연속선상에 있으며 종종 간접적으로 표현되기 때문에 단순한 이중 레이블보다 더 세밀한 주석이 필요하다는 점을 확인한다.
• 제안된 체계는 도메인 특화 데이터 선택을 가능하게 하여, 예를 들어 인종차별, 성차별, 동성애 혐오 등 다양한 유형의 혐오 발언에 대해 전이 학습 성능을 향상시킬 수 있다.