[논문 리뷰] Data-Efficient Strategies for Expanding Hate Speech Detection into Under-Resourced Languages

Paul Röttger, Debora Nozza외 2명|arXiv (Cornell University)|2022. 10. 20.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 가용한 영어 데이터를 기반으로 한 초기 사전학습을 활용하여, 최소한의 타겟 언어 피니튜닝 데이터로도 자원이 부족한 언어에서 혐오 발언 탐지 모델을 효율적으로 구현하는 전략을 제안한다. 연구 결과, 강력한 성능을 달성하기 위해 타겟 언어 데이터가 아주 소량으로도 충분하며, 그 이상으로 증가시킬 경우 수익 감소 현상이 나타나고, 초기 영어 피니튜닝이 일반화 능력을 향상시켜 annotation 비용과 위험을 줄이는 데 효과적이라는 점을 발견하였다.

ABSTRACT

Hate speech is a global phenomenon, but most hate speech datasets so far focus on English-language content. This hinders the development of more effective hate speech detection models in hundreds of languages spoken by billions across the world. More data is needed, but annotating hateful content is expensive, time-consuming and potentially harmful to annotators. To mitigate these issues, we explore data-efficient strategies for expanding hate speech detection into under-resourced languages. In a series of experiments with mono- and multilingual models across five non-English languages, we find that 1) a small amount of target-language fine-tuning data is needed to achieve strong performance, 2) the benefits of using more such data decrease exponentially, and 3) initial fine-tuning on readily-available English data can partially substitute target-language data and improve model generalisability. Based on these findings, we formulate actionable recommendations for hate speech detection in low-resource language settings.

연구 동기 및 목표

• 제한된 애너테이션 데이터를 바탕으로 자원이 부족한 언어에서 효과적인 혐오 발언 탐지 모델을 구현하여 글로벌한 불균형 문제를 해결한다.
• 혐오 발언 콘텐츠를 애너테이션하는 데 드는 비용과 위험을 줄이기 위해 타겟 언어 레이블링 노력의 최소화를 목표로 한다.
• 자원이 풍부한 영어 데이터로 초기 피니튜닝을 수행할 경우, 자원이 부족한 환경에서 타겟 언어 데이터를 얼마나 대체할 수 있는지 조사한다.
• 자원이 부족한 언어 환경에서 혐오 발언 탐지 시스템을 구현하기 위한 실천 가능하고 근거 기반의 권고 사항을 제시한다.

제안 방법

• 아랍어, 스페인어, 히브리어, 포르투갈어, 이탈리아어 등 5개의 비영어 언어에서 다양한 크기의 무작위 샘플을 활용해 혐오 발언 데이터에 대해 단일 언어 및 다국어 트랜스포머 모델을 피니튜닝한다.
• 두 단계 피니튜닝 프로세스를 적용: 첫 번째로 영어 데이터에서 피니튜닝(선택 사항), 그 다음으로 점차 증가하는 타겟 언어 데이터 샘플에서 피니튜닝.
• 영어 외 언어로의 전이 성능 평가를 위해 Multilingual HateCheck(MHC)를 보류된 테스트 세트로 사용한다.
• 타겟 언어 데이터셋의 보류된 테스트 세트와 MHC를 사용하여 정확도 및 일반화 능력을 측정함으로써 모델 성능을 평가한다.
• 모델의 강건성을 확보하기 위해 각 언어와 모델 유형당 10개의 무작위 시드를 사용하여 총 5개 언어와 5개 모델 유형에서 3,000개의 모델을 훈련시켰다.
• hatespeechdata.com에서 제공하는 데이터셋을 선택하였으며, 이는 서유럽 법적 정의에 따라 보호 그룹을 대상으로 하는 혐오 발언과 일치한다.

실험 결과

연구 질문

• RQ1 자원이 부족한 언어에서 강력한 혐오 발언 탐지 성능을 달성하기 위해 얼마나 많은 타겟 언어 피니튜닝 데이터가 필요한가?
• RQ2 타겟 언어 데이터를 늘릴수록 성능 향상이 어떻게 변화하는가? 수익 감소 패턴이 존재하는가?
• RQ3 초기 영어 데이터 피니튜닝이 모델 일반화 능력을 향상시키기 위해 타겟 언어 데이터를 얼마나 대체할 수 있는가?
• RQ4 초기 영어 피니튜닝이 다양한 언어에서 모델의 강건성과 도메인 외 성능에 어떤 영향을 미치는가?
• RQ5 자원이 부족한 언어 환경에서 혐오 발언 탐지 시스템을 구현하기 위한 가장 효과적이고 저비용인 전략은 무엇인가?

주요 결과

• 연구 대상인 5개의 비영어 언어 전반에서 보류된 테스트 세트에서 강력한 성능을 달성하기 위해 타겟 언어 피니튜닝 데이터가 아주 소량(100~500개 예시)으로도 충분하다.
• 타겟 언어 데이터를 늘릴수록 성능 향상 폭이 기하급수적으로 감소함을 확인하여, 소량의 데이터 이론을 초과하면 경제적 이득이 급격히 줄어들며, 이는 수익 감소 패턴을 시사한다.
• 가용한 영어 데이터로 초기 피니튜닝을 수행하면 모델의 일반화 능력이 크게 향상되며, 특히 타겟 데이터가 부족한 상황에서 타겟 언어 데이터의 일부를 대체할 수 있다.
• XLM-T와 같은 다국어 모델은 초기 영어 피니튜닝을 통해 타겟 언어로의 제로샷 전이 성능이 향상됨을 보였다.
• 도메인 외 평가 결과, 타겟 언어 데이터로만 피니튜닝된 모델는 강건성이 떨어질 수 있음을 확인하였으며, 이는 다양한 데이터 수집과 고자원 언어에서의 초기 사전학습의 필요성을 강조한다.
• 작은 데이터 샘플과 CPU에서의 효율적 계산을 활용하여 피니튜닝의 환경적 비용은 극히 미미했으며, 이는 낮은 자원 오버헤드로도 확장 가능함을 시사한다.