[논문 리뷰] HateCheckHIn: Evaluating Hindi Hate Speech Detection Models

Mithun Das, Punyajoy Saha외 2명|arXiv (Cornell University)|2022. 04. 30.

Hate Speech and Cyberbullying Detection인용 수 6

한 줄 요약

이 논문은 히브리어 혼합 및 다국어 소셜 미디어 콘텐츠를 중심으로 한 히브리어 혐오 발언 탐지 모델을 위한 진단 평가 프레임워크인 HateCheckHIn을 소개한다. 실제 히브리어 언어 패턴을 기반으로 한 타겟팅된 테스트 케이스를 제작하여 m-BERT와 Perspective API를 평가함으로써, 언어 혼합, 풍자, 간접적 비하 표현을 포함한 혐오 발언 탐지에서의 핵심 실패 유형을 드러낸다.

ABSTRACT

Due to the sheer volume of online hate, the AI and NLP communities have started building models to detect such hateful content. Recently, multilingual hate is a major emerging challenge for automated detection where code-mixing or more than one language have been used for conversation in social media. Typically, hate speech detection models are evaluated by measuring their performance on the held-out test data using metrics such as accuracy and F1-score. While these metrics are useful, it becomes difficult to identify using them where the model is failing, and how to resolve it. To enable more targeted diagnostic insights of such multilingual hate speech models, we introduce a set of functionalities for the purpose of evaluation. We have been inspired to design this kind of functionalities based on real-world conversation on social media. Considering Hindi as a base language, we craft test cases for each functionality. We name our evaluation dataset HateCheckHIn. To illustrate the utility of these functionalities , we test state-of-the-art transformer based m-BERT model and the Perspective API.

연구 동기 및 목표

• 다국어 혐오 발언 탐지에 대한 진단 평가 도구의 부족, 특히 히브리어와 같은 저자원 언어에 초점을 맞춘다.
• 실제 소셜 미디어 패턴, 예를 들어 언어 혼합과 간접적 혐오 발언을 포함한 상황에서 기존 혐오 발언 탐지 모델이 어떻게 실패하는지 특정 실패 유형을 규명한다.
• 집계 지표를 넘어서 모델 행동을 타겟팅 분석할 수 있도록 인간이 애너테이션한 구조화된 평가 데이터셋(HateCheckHIn)을 개발한다.
• m-BERT와 Perspective API와 같은 최첨단 모델이 언어적 복잡성이 높은 히브리어 전용 혐오 발언 시나리오에서 어떻게 성능을 내는지 비교한다.
• 실제 온라인 논의 패턴을 기반으로 한 功能 평가 프레임워크를 통해 모델의 한계에 대한 실질적인 통찰을 제공한다.

제안 방법

• 실제 소셜 미디어 대화를 기반으로 한 12개의 功能 테스트 케이스를 설계하여, 언어 혼합, 풍자, 간접적 비하 표현을 포함한 히브리어에서 흔한 혐오 발언 패턴에 집중한다.
• 실제 다국어 온라인 논의를 반영하는 1,000개의 다양한 히브리어-영어 혼합 문장들을 코딩하고 애너테이션하여 HateCheckHIn 데이터셋을 구축한다.
• 이러한 功能 테스트 케이스를 사용하여 m-BERT와 Perspective API의 성능을 평가하여 다양한 언어 현상에서의 모델 행동을 측정한다.
• 정성적 및 정량적 분석의 조합을 통해 각 功能에서의 모델 성능을 평가하고, 모델이 어디서 실패하는지 그 이유를 규명한다.
• 기본 지표인 F1 점수를 넘어서 모델 일반화에서의 실패 패턴을 드러내는 데 초점을 맞춘 진단 평가 철학을 적용한다.
• 인간 애너테이션 데이터에서 도출된 통찰을 바탕으로 저자원 NLP 환경에서의 실제 언어적 과제를 시뮬레이션하는 평가 함수를 설계한다.

실험 결과

연구 질문

• RQ1 m-BERT와 Perspective API와 같은 최첨단 다국어 모델은 언어 혼합과 간접적 표현을 포함한 히브리어 혐오 발언에서 어떻게 성능을 내는가?
• RQ2 히브리어 소셜 미디어 논의에서 어떤 특정 언어 패턴이 모델 실패를 유도하며, 이러한 패턴은 어떻게 체계적으로 진단할 수 있는가?
• RQ3 F1 점수와 같은 표준 평가 지표는 혐오 발언 탐지 모델에서 중요한 실패 유형을 얼마나 잘 드러내지 못하는가?
• RQ4 기능 평가 프레임워크는 저자원, 다국어 환경에서 혐오 발언 탐지 모델의 해석 가능성과 진단 유용성을 얼마나 향상시킬 수 있는가?
• RQ5 모델은 혼합 언어 콘텐츠에 포함된 풍자와 맥락 기반 혐오 발언을 어떻게 처리하는가, 특히 히브리어에서의 경우에 대해 어떻게 되는가?

주요 결과

• m-BERT 모델은 언어 혼합 및 풍자 중심 입력에서 성능이 심각하게 저하되며, 단일 언어 히브리어 입력 대비 F1 점수가 30퍼센트 이상 감소한다.
• Perspective API는 히브리어 전용 혐오 발언에 대해 일반화 능력이 떨어지며, 간접적 비하 표현과 문화적으로 맥락화된 혐오를 탐지하지 못하는 데 실패한다.
• HateCheckHIn 프레임워크는 12개의 명백한 실패 유형을 성공적으로 규명하였으며, 이는 풍자 문장의 잘못된 분류와 중립적인 언어 혼합 문장에서의 과도한 예측을 포함한다.
• 단일 언어 데이터로 훈련된 모델은 다국어 혐오 발언을 다루는 데 어려움을 겪으며, 이는 다국어 미세조정과 다양한 훈련 데이터의 필요성을 강조한다.
• F1 점수와 같은 표준 평가 지표는 모델이 미묘한 언어 현상에서의 행동을 포착하지 못하며, 이는 진단 평가 프레임워크의 필요성을 부각시킨다.
• 본 연구는 모델 성능이 다양한 功能 카테고리 간에 상당히 다름을 보이며, 간접적 및 풍자적 혐오 발언 탐지에서 가장 열악한 성능을 보임을 입증한다.