[논문 리뷰] IIITT@LT-EDI-EACL2021-Hope Speech Detection: There is always Hope in Transformers

Karthik Puranik, Adeep Hande외 3명|arXiv (Cornell University)|2021. 04. 19.

Hate Speech and Cyberbullying Detection참고 문헌 34인용 수 14

한 줄 요약

이 논문은 영어, 타밀어, 말라요람어로 된 소셜 미디어 댓글에서 희망 언어를 탐지하기 위한 다국어 트랜스포머 기반 접근법을 제안한다. 주로 CharacterBERT, mBERT, MuRIL 등의 모델을 활용하며, 영어에서는 F1 스코어 0.9356, 말라요람어에서는 0.8545, 타밀어에서는 0.5926를 기록하여, 희망 언어를 식별하고 혐오 발언과 사이버불링을 억제하는 데에 토대가 되는 긍정적이고 지지적인 콘텐츠를 효과적으로 탐지하는 데에 성공했다.

ABSTRACT

In a world filled with serious challenges like climate change, religious and political conflicts, global pandemics, terrorism, and racial discrimination, an internet full of hate speech, abusive and offensive content is the last thing we desire for. In this paper, we work to identify and promote positive and supportive content on these platforms. We work with several transformer-based models to classify social media comments as hope speech or not-hope speech in English, Malayalam and Tamil languages. This paper portrays our work for the Shared Task on Hope Speech Detection for Equality, Diversity, and Inclusion at LT-EDI 2021- EACL 2021.

연구 동기 및 목표

• 혐오 발언과 사이버불링을 억제하기 위해 소셜 미디어 플랫폼에서 긍정적이고 지지적인 콘텐츠를 탐지하고 장려하는 데 증가하는 필요성을 해결하기 위해.
• 영어, 타밀어, 말라요람어에서 소셜 미디어 댓글을 희망 언어 또는 비희망 언어로 분류하며, 다국어 및 코드 믹스 데이터에 중점을 두기 위해.
• 다양한 사전 훈련된 트랜스포머 모델의 성능을 저자원 인도어 언어에서 희망 언어 탐지에 대해 평가하기 위해.
• 위기 상황 동안 희망, 회복력, 포용성을 담은 메시지를 식별하고 확산시켜 온라인 논의를 개선하기 위해.

제안 방법

• 공동 과제 데이터셋에 대해 BERT, RoBERTa, XLM-RoBERTa, mBERT, MuRIL, IndicBERT, CharacterBERT를 포함한 여러 다국어 및 단일어 트랜스포머 모델을 미세조정하였다.
• Common Crawl, Wikipedia, Dakshina 등의 다국어 및 인도어 언어 코퍼스에서 사전 훈련된 모델을 활용하여 전이 학습 기법을 적용하였다.
• 트랜스포머 인코더 위에 밀집층과 BiLSTM 아키텍처를 사용하여 시퀀스 모델링 및 분류 성능을 향상시켰다.
• 특히 영어와 말라요람어에서 심각한 클래스 불균형 문제를 완화하기 위해 데이터 증강 및 클래스 균형 기법을 적용하였다.
• 전체 59,354개 댓글 중 10%를 차지하는 보류된 테스트 세트에서 가중 F1 스코어를 주요 지표로 사용하여 모델을 평가하였다.
• 소셜 미디어 텍스트에서 흔한 OOV(Out-of-Vocabulary) 및 비표준 철자 오류에 대비해 강건성을 향상시키기 위해 문자 수준 인식 모델인 CharacterBERT를 구현하였다.

실험 결과

연구 질문

• RQ1 타밀어 및 말라요람어와 같은 저자원 인도어 언어에서 희망 언어 탐지에 가장 효과적인 트랜스포머 기반 모델은 무엇인가?
• RQ2 데이터 분포 및 언어 특성의 차이로 인해 영어, 타밀어, 말라요람어 간 모델 성능이 어떻게 달라지는가?
• RQ3 클래스 불균형과 다국어 간섭이 희망 언어 탐지 모델의 일반화에 얼마나 큰 영향을 미치는가?
• RQ4 노이즈가 많은, 코드 믹스 또는 비표준 소셜 미디어 텍스트에서 문자 수준 표현이 성능 향상에 기여하는가?
• RQ5 mBERT나 XLM-RoBERTa와 같은 다국어 모델은 단일어 또는 언어별 특화 모델보다 희망 언어 탐지에서 어떻게 비교되는가?

주요 결과

• CharacterBERT는 영어 테스트 세트에서 F1 스코어 0.9356을 기록하며 BERT, RoBERTa, DistilBERT와 같은 다른 모델들을 능가했다.
• mBERT-uncased에 BiLSTM을 결합한 모델은 말라요람어 테스트 세트에서 F1 스코어 0.8545를 기록하며 다른 다국어 모델들을 앞섰다.
• 타밀어에서는 distilBERT가 가중 F1 스코어 0.5926를 기록했지만, 검증 성능에서 테스트 성능으로 이격되면서 성능 저하가 심각하게 발생했다.
• mBERT-cased 모델에 BiLSTM을 적용한 경우, 검증 시 F1 스코어 0.6183에서 테스트로 이격되며 8%의 급격한 감소를 보였으며, 과적합 또는 데이터 분포 이격 문제를 시사했다.
• mBERT나 XLM-RoBERTa와 같은 다국어 모델은 테스트 세트에서 최대 15%의 성능 저하를 보였으며, 주로 코드 믹스 및 비표준 스크립트 간섭으로 인한 것으로 보인다.
• 클래스 불균형과 비영어 언어 간섭은 특히 영어와 말라요람어 데이터셋에서 모델의 일반화 능력에 심각한 영향을 미쳤다.