[논문 리뷰] Hate-Alert@DravidianLangTech-EACL2021: Ensembling strategies for Transformer-based Offensive language Detection.

Debjoy Saha, Naman Paharia외 3명|arXiv (Cornell University)|2021. 04. 01.

Hate Speech and Cyberbullying Detection참고 문헌 32인용 수 4

한 줄 요약

이 논문은 저자원 드라비아니아어인 타밀어, 칸나다어, 말라요람어에서 악성 언어 탐지에 대해 미세조정된 트랜스포머 모델의 앙상블을 제안하며, 모델 조합을 최적화하기 위해 유전 알고리즘을 사용한다. 이는 EACL 2021에서의 공동 과제에서 타밀어와 말라요람어에서 1등, 칸나다어에서 2등의 최신 기술 성능을 달성한다.

ABSTRACT

Social media often acts as breeding grounds for different forms of offensive content. For low resource languages like Tamil, the situation is more complex due to the poor performance of multilingual or language-specific models and lack of proper benchmark datasets. Based on this shared task “Offensive Language Identification in Dravidian Languages” at EACL 2021; we present an exhaustive exploration of different transformer models, We also provide a genetic algorithm technique for ensembling different models. Our ensembled models trained separately for each language secured the first position in Tamil, the second position in Kannada, and the first position in Malayalam sub-tasks. The models and codes are provided.

연구 동기 및 목표

• 기존의 다국어 또는 언어별 모델이 성능이 떨어지는 저자원 드라비아니아어에서 악성 언어 탐지 문제를 해결하기 위해.
• 타밀어, 칸나다어, 말라요람어에서 악성 언어 식별을 위한 강력하고 언어별 특화된 접근법을 개발하기 위해.
• 저자원 언어 데이터셋에서 성능을 향상시키는 효과적인 앙상블 전략을 탐색하기 위해.
• 다양한 트랜스포머 아키텍처 간의 모델 앙상블 가중치를 최적화하기 위한 유전 알고리즘 기반 방법을 도입하기 위해.

제안 방법

• 타밀어, 칸나다어, 말라요람어의 언어별 악성 언어 데이터셋에 대해 여러 사전 훈련된 트랜스포머 모델(예: mBERT, XLM-R)을 미세조정한다.
• 모델 성능을 적합도로 간주하여, 다양한 개별 모델 간 최적의 앙상블 가중치를 찾기 위해 유전 알고리즘을 적용한다.
• 수렴성과 일반화 성능 향상을 위해 훈련 중 조기 정지와 학습률 스케줄링을 사용한다.
• 언어 특수성을 유지하고 도메인 이탈을 방지하기 위해 각 언어별로 별도의 모델을 훈련시킨다.
• 유전 알고리즘의 적합도 함수로 검증 F1 점수를 사용하여 앙상블을 최적화한다.
• 최종 앙상블 모델을 테스트 세트에서 평가하여 세 개의 드라비아니아어 전반에 걸친 성능을 측정한다.

실험 결과

연구 질문

• RQ1 미세조정된 트랜스포머 모델은 타밀어, 칸나다어, 말라요람어와 같은 저자원 드라비아니아어에서 악성 언어 탐지에 대해 강력한 성능을 달성할 수 있는가?
• RQ2 유전 알고리즘은 저자원 환경에서 악성 언어 탐지에 대한 모델 앙상블 최적화에 얼마나 효과적인가?
• RQ3 이 저자원 환경에서 언어별 특화된 미세조정이 다국어 모델보다 성능이 뛰어나게 되는가?
• RQ4 다양한 앙상블 전략은 공동 과제에서 F1 점수 성능에 어떤 영향을 미치는가?
• RQ5 다양한 모델과 자동화된 가중치 최적화를 조합한 하이브리드 접근 방식은 개별 모델보다 성능이 뛰어나게 되는가?

주요 결과

• 앙상블 모델은 타밀어 하위 과제에서 가장 높은 F1 점수를 기록하여 공동 과제에서 1등을 차지했다.
• 칸나다어 하위 과제에서 2등을 기록하여 드라비아니아어 언어 간 강력한 일반화 능력을 보였다.
• 말라요람어 하위 과제에서 1등을 기록하여 이 저자원 언어에 대해 매우 효과적인 것으로 나타났다.
• 유전 알고리즘 기반의 앙상블 전략은 개별 모델과 표준 평균화 방식보다 성능 향상이著명했다.
• 다른 다국어 모델(예: mBERT, XLM-R)에만 의존하는 것보다 언어별 특화된 미세조정이 더 좋은 결과를 냈다.
• 제안된 접근 방식은 제한된 주석 데이터를 가진 세 가지의 서로 다른 드라비아니아어 언어에 대해 강건성과 확장성 모두를 입증했다.