[논문 리뷰] NLP-CUET@DravidianLangTech-EACL2021: Offensive Language Detection from Multilingual Code-Mixed Text using Transformers

Omar Sharif, Eftekhar Hossain외 1명|arXiv (Cornell University)|2021. 02. 28.

Hate Speech and Cyberbullying Detection인용 수 15

한 줄 요약

이 논문은 영어와 혼합된 다국어 코드 믹스드 텍스트에서 폭력적 언어를 탐지하기 위한 트랜스포머 기반 시스템을 제안한다. 주로 타밀어, 말라요람어, 칸나다어를 대상으로 하며, 다양한 모델을 평가한 결과, XLM-R은 타밀어와 말라요람어에서 가장 우수한 성능을 보였고, m-BERT는 칸나다어에서 가장 뛰어난 성능을 보였다. 각각 가중 F1 스코어는 0.76, 0.93, 0.71을 기록했으며, 기존의 기계학습 및 딥러닝 방법보다 유의하게 뛰어난 성능을 보였다.

ABSTRACT

The increasing accessibility of the internet facilitated social media usage and encouraged individuals to express their opinions liberally. Nevertheless, it also creates a place for content polluters to disseminate offensive posts or contents. Most of such offensive posts are written in a cross-lingual manner and can easily evade the online surveillance systems. This paper presents an automated system that can identify offensive text from multilingual code-mixed data. In the task, datasets provided in three languages including Tamil, Malayalam and Kannada code-mixed with English where participants are asked to implement separate models for each language. To accomplish the tasks, we employed two machine learning techniques (LR, SVM), three deep learning (LSTM, LSTM+Attention) techniques and three transformers (m-BERT, Indic-BERT, XLM-R) based methods. Results show that XLM-R outperforms other techniques in Tamil and Malayalam languages while m-BERT achieves the highest score in the Kannada language. The proposed models gained weighted $f_1$ score of $0.76$ (for Tamil), $0.93$ (for Malayalam), and $0.71$ (for Kannada) with a rank of $3^{rd}$, $5^{th}$ and $4^{th}$ respectively.

연구 동기 및 목표

• 다국어 코드 믹스드 소셜 미디어 텍스트에서 폭력적 콘텐츠를 자동으로 탐지할 수 있는 시스템을 개발하는 것.
• 단일 언어 모델이 다국어 폭력적 콘텐츠를 효과적으로 분류하는 데 어려움을 겪게 하는 코드 스위칭 복잡성 문제를 해결하는 것.
• 공통 벤치마크 데이터셋을 기반으로 다양한 모델(기계학습, 딥러닝, 트랜스포머 기반)을 평가하여未래 연구를 위한 견고한 베이스라인을 설정하는 것.
• 세 개의 드라비디아어 언어(타밀어, 말라요람어, 칸나다어)에서 모델 성능과 오류 패턴을 분석하는 것.

제안 방법

• 시스템은 여섯 가지 폭력적 언어 유형을 식별하기 위한 다중 클래스 분류 프레임워크를 사용한다: 비폭력적(NF), 폭력적-대상-비난-타인(OTIO), 폭력적-대상-비난-개인(OTII), 폭력적-대상-비난-집단(OTIG), 타밀어 아님/말라요람어 아님(NT/NM), 칸나다어 아님(NK).
• 다양한 모델을 평가한다: 기계학습(로지스틱 회귀, SVM), 딥러닝(LSTM, Attention이 있는 LSTM), 트랜스포머 기반 모델(m-BERT, Indic-BERT, XLM-R).
• 비트랜스포머 모델의 입력 표현으로 워드 임베딩(Word2Vec, FastText)과 TF-IDF 특징을 사용한다.
• 트랜스포머 모델의 경우, 배치 크기를 XLM-R에 대해 4로, m-BERT와 Indic-BERT에 대해 12로 설정하여 코드 믹스드 데이터셋에서 미세조정을 수행한다.
• 모델 성능 평가에는 가중 F1 스코어, 정밀도, 재현율을 사용하며, 최고 성능을 보인 모델의 오류 분석은 혼동 행렬을 통해 수행된다.

실험 결과

연구 질문

• RQ1 기계학습, 딥러닝, 트랜스포머 기반 모델은 다국어 코드 믹스드 텍스트에서 폭력적 콘텐츠를 분류하는 데 어떻게 비교되는가?
• RQ2 m-BERT, Indic-BERT, XLM-R 중에서 어떤 트랜스포머 모델이 타밀어, 말라요람어, 칸나다어 코드 믹스드 텍스트에서 폭력적 언어 탐지에 가장 뛰어난 성능을 보이는가?
• RQ3 세 언어에서 최고 성능을 보인 모델의 주요 실패 유형과 클래스별 오분류 패턴은 무엇인가?
• RQ4 클래스 불균형은 특히 희귀 폭력적 카테고리인 OTIO와 OTIG에 대해 모델 성능에 어느 정도 영향을 미치는가?

주요 결과

• XLM-R는 타밀어에서 가장 높은 가중 F1 스코어 0.76을 기록하여, m-BERT와 Indic-BERT를 포함한 모든 다른 모델을 능가했다.
• 말라요람어에서는 XLM-R가 가중 F1 스코어 0.93을 기록하여 전체 순위 3위를 차지했으며, m-BERT와 Indic-BERT는 각각 0.90과 0.92를 기록했다.
• 칸나다어에서는 m-BERT가 가중 F1 스코어 0.71을 기록하여 XLM-R를 약간 앞서며, 정밀도와 재현율 지표를 고려해 최고 모델로 선정되었다.
• 트랜스포머 기반 모델은 기계학습 및 딥러닝 모델보다 유의미하게 뛰어난 성능을 보였으며, 타밀어, 말라요람어, 칸나다어에서 각각 F1 스코어 개선 폭이 0.03, 0.05, 0.23이었다.
• 오류 분석 결과, OTIO의 오분류 비율이 매우 높았으며, 타밀어에서는 참 긍정률이 0%, 칸나다어에서는 100%였다. 이는 클래스 불균형과 코드 스위칭 비난의 언어학적 복잡성 때문일 가능성이 높다.
• NF 클래스에 대해서는 뛰어난 성능을 보였지만, 특히 말라요람어에서 27개의 OTII 사례 중 2개만 정확히 분류하는 등 희귀 폭력적 카테고리인 OTIG와 OTII에 어려움을 겪었다.