[논문 리뷰] Assessing the impact of contextual information in hate speech detection

Juan Manuel Cepeda Pérez, Franco M. Luque외 9명|arXiv (Cornell University)|2022. 10. 02.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 연구는 코로나19 팬데믹 기간 동안 뉴스 기사에 대한 트위터 댓글을 대상으로 한 새로이 정렬된 코퍼스를 사용하여 스페인어에서 맥락 정보가 혐오 발언 탐지에 미치는 영향을 조사한다. 트랜스포머 기반 모델을 사용하여 저자들은 맥락 정보, 특히 뉴스 기사의 제목을 포함시킴으로써 이분법적 분류와 다중 레이블 분류에서 각각 매크로 F1 점수를 4.2점과 5.5점 향상시켰음을 입증한다.

ABSTRACT

In recent years, hate speech has gained great relevance in social networks and other virtual media because of its intensity and its relationship with violent acts against members of protected groups. Due to the great amount of content generated by users, great effort has been made in the research and development of automatic tools to aid the analysis and moderation of this speech, at least in its most threatening forms. One of the limitations of current approaches to automatic hate speech detection is the lack of context. Most studies and resources are performed on data without context; that is, isolated messages without any type of conversational context or the topic being discussed. This restricts the available information to define if a post on a social network is hateful or not. In this work, we provide a novel corpus for contextualized hate speech detection based on user responses to news posts from media outlets on Twitter. This corpus was collected in the Rioplatense dialectal variety of Spanish and focuses on hate speech associated with the COVID-19 pandemic. Classification experiments using state-of-the-art techniques show evidence that adding contextual information improves hate speech detection performance for two proposed tasks (binary and multi-label prediction). We make our code, models, and corpus available for further research.

연구 동기 및 목표

• 고립된 메시지 기반 혐오 발언 탐지의 한계를 극복하기 위해 대화적이고 주제적인 맥락을 통합한다.
• 코로나19 관련 차별을 중심으로 한 리오플라타노 스페인어에서 고품질의 수작업으로 정렬된 혐오 발언 데이터셋을 개발한다.
• 맥락 정보가 최신 NLP 모델의 혐오 발언 탐지 작업 성능을 향상시키는지 조사한다.
• 이분법적 혐오 발언 탐지 외에도 공격 대상과 행동 유도 문구를 포함한 다중 레이블 분류를 탐색한다.
• 재현 가능성과 향후 연구를 지원하기 위해 코퍼스, 정렬, 모델을 오픈소스로 제공한다.

제안 방법

• 주요 아르헨티나 매체의 뉴스 기사에 대한 트위터 댓글 기반 코퍼스를 구축하여 코로나19 관련 혐오 발언에 집중한다.
• 혐오 발언, 공격 대상, 행동 유도 문구를 포함한 상세한 다중 레이블 가이드라인을 사용해 대표적인 샘플을 정렬한다.
• 고립된 댓글과 맥락 인식 입력을 모두 토대로 트랜스포머 기반 모델(예: BERT 유사 아키텍처)을 미세조정한다.
• 맥락 정보 유무에 따라 이분법적 및 다중 레이블 혐오 발언 탐지 작업에서 매크로 F1 점수를 사용해 성능을 평가한다.
• 제목, 전체 기사, 대화 스레드와 같은 다양한 종류의 맥락에 대해 모델 성능을 비교한다.
• 오류 분석을 수행하여 특히 의미적으로 복잡한 혐오 발언(예: 레즈비언·Lesbian, 레즈비언·Lesbian, 트랜스젠더, 비이성적 성적 지향자에 대한 혐오)에 대한 지속적인 과제를 파악한다.

실험 결과

연구 질문

• RQ1 뉴스 기사에서의 맥락 정보를 통합함으로써 스페인어에서 혐오 발언 탐지 성능이 향상되는가?
• RQ2 맥락을 포함시킬 경우 공격 대상과 행동 유도 문구와 같은 다중 레이블 혐오 발언 특성의 탐지에 어떤 영향을 미치는가?
• RQ3 제목, 전체 기사 등 맥락 정보의 유형 중 어느 것이 혐오 발언 탐지에서 가장 높은 성능을 낳는가?
• RQ4 최신 기술 모델이 레즈비언·Lesbian, 레즈비언·Lesbian, 트랜스젠더, 비이성적 성적 지향자에 대한 비유나 은유, 풍자 등 의미적으로 복잡한 혐오 발언을 얼마나 잘 다루는가?
• RQ5 저자원, 방언 특화 환경에서 고립된 메시지 기반 혐오 발언 탐지의 한계를 맥락 정보가 완화할 수 있는가?

주요 결과

• 특히 뉴스 기사 제목을 포함한 맥락 정보를 추가함으로써 이분법적 분류에서 매크로 F1 점수가 4.2점 향상되었다.
• 다중 레이블 분류에서는 맥락을 포함시킴으로써 매크로 F1 점수가 5.5점 상승하여 세밀한 혐오 발언 탐지에서 더 큰 성과를 보였다.
• 가장 작은 맥락(제목)이 가장 높은 성능을 보였으며, 이는 간결하고 주제에 부합하는 맥락이 충분하고 효과적임을 시사한다.
• 더 긴 맥락(예: 전체 기사)을 사용할 경우 성능 향상이 유의미하지 않아 과도한 맥락이 추가 가치를 주지 않거나 노이즈를 유발할 수 있음을 나타낸다.
• 은유와 풍자를 포함한 반 레즈비언·Lesbian, 레즈비언·Lesbian, 트랜스젠더 공동체를 향한 혐오 발언 탐지에 어려움이 있었지만, 맥락 정보의 영향을 크게 받았다.
• 이 연구는 맥락 정보가 의미적으로 복잡하고 미묘한 차별 형태에 대해 특히 강력하고 정확한 혐오 발언 탐지 시스템을 구축하는 데 핵심 요소임을 확인한다.