[논문 리뷰] Toxicity Detection for Indic Multilingual Social Media Content

Manan Jhaveri, Devanshu Ramaiya외 1명|arXiv (Cornell University)|2022. 01. 03.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 XLM-RoBERTa와 MuRIL을 사용한 앙상블 학습에 더해 번역된 데이터, 메타데이터 특징, 언어별 임계값 조정을 통해 인디아계 소셜 미디어 콘텐츠의 다국어 독성 감지 시스템을 제안한다. IIIT-D 다국어 폭력적 댓글 식별 챌린지에서 최고의 평균 F1 스코어 0.90005를 기록하였다.

ABSTRACT

Toxic content is one of the most critical issues for social media platforms today. India alone had 518 million social media users in 2020. In order to provide a good experience to content creators and their audience, it is crucial to flag toxic comments and the users who post that. But the big challenge is identifying toxicity in low resource Indic languages because of the presence of multiple representations of the same text. Moreover, the posts/comments on social media do not adhere to a particular format, grammar or sentence structure; this makes the task of abuse detection even more challenging for multilingual social media platforms. This paper describes the system proposed by team 'Moj Masti' using the data provided by ShareChat/Moj in \emph{IIIT-D Multilingual Abusive Comment Identification} challenge. We focus on how we can leverage multilingual transformer based pre-trained and fine-tuned models to approach code-mixed/code-switched classification tasks. Our best performing system was an ensemble of XLM-RoBERTa and MuRIL which achieved a Mean F-1 score of 0.9 on the test data/leaderboard. We also observed an increase in the performance by adding transliterated data. Furthermore, using weak metadata, ensembling and some post-processing techniques boosted the performance of our system, thereby placing us 1st on the leaderboard.

연구 동기 및 목표

• 다국어 소셜 미디어 플랫폼에서 자원이 적은 인디아계 언어의 독성 콘텐츠 탐지 문제를 해결하기 위해.
• 일반적인 문법과 문체를 갖추지 못한 혼합 언어 및 비공식적인 소셜 미디어 텍스트에서의 폭력적 행동 탐지 성능을 향상시키기 위해.
• 다양한 인도어 언어 코퍼스로 사전 훈련된 다국어 트랜스포머 모델을 활용하여 자원이 적은 언어 환경에서의 성능을 높이기 위해.
• 번역된 텍스트를 통한 데이터 증강 및 약한 메타데이터 특징의 통합을 통해 모델 성능을 향상시키기 위해.
• 언어별 확률 임계값 조정과 후처리 기법을 통해 추론 최적화를 수행하기 위해.

제안 방법

• 13개 언어로 구성된 665만 건 이상의 인도계 소셜 미디어 댓글을 포함한 다국어 데이터셋에서 XLM-RoBERTa와 MuRIL 모델을 미세조정하였다.
• 훈련 데이터에서 마스킹 언어 모델링(MLM) 사전 훈련을 적용하여, 후행 F1 스코어를 0.87에서 0.88로 향상시켰다.
• 시험 샘플의 번역된 버전을 포함시켜 훈련 데이터를 강화하였으며, 예측 결과를 7:3 비율로 가중 평균하였다.
• 다양한 모델(XLM-RoBERTa, MuRIL 및 기타)을 동일한 가중치로 조합한 앙상블을 구축하여 일반화 능력을 향상시키고 오류 상관관계를 감소시켰다.
• 특징 공학 기법을 통해 약한 메타데이터(예: 신고 수, 좋아요 수, 댓글 길이 등)를 통합하고, 이를 기반으로 기울기 부스팅 분류기(XGBoost, CatBoost)를 훈련시켰다.
• 언어별 확률 임계값(예: 마라티어는 0.6, 구자라트어는 0.4)을 적용하고 예측 확률을 0.01 증가시켜 추론 과정을 최적화하였다.

실험 결과

연구 질문

• RQ1 XLM-RoBERTa와 MuRIL과 같은 다국어 트랜스포머 모델은 혼합 언어 및 비표준 문법을 가진 자원이 적은 인디아계 언어에서 독성 감지에 얼마나 효과적인가?
• RQ2 번역된 데이터를 통한 데이터 증강은 다국어 독성 감지에서 모델 일반화 능력 향상에 어느 정도 기여하는가?
• RQ3 신고 수나 좋아요 수와 같은 약한 메타데이터는 딥러닝 예측 결과와 결합했을 때 모델 성능 향상에 기여하는가?
• RQ4 언어별 추론 임계값 조정이 다국어 환경에서 F1 스코어에 미치는 영향은 어떠한가?
• RQ5 다양한 모델(비사전 훈련된 모델 포함)을 사용한 앙상블 학습은 자원이 적은 NLP 과제에서 강건성과 성능 향상에 어떤 영향을 미치는가?

주요 결과

• XLM-RoBERTa와 MuRIL의 앙상블 모델이 테스트 세트에서 가장 높은 평균 F1 스코어 0.90005를 기록하여 랭킹 1위를 차지하였다.
• 마스킹 언어 모델링을 통한 사전 훈련이 기준 F1 스코어를 0.87에서 0.88로 향상시켜 자기지도 학습의 가치를 입증하였다.
• 번역된 데이터 통합은 특히 훈련 예제가 적은 자원이 적은 언어에서 모델 일반화 능력을 향상시켰다.
• 메타데이터 기반 특징 공학 및 부스팅 모델(XGBoost, CatBoost)은 예측 성능을 크게 향상시켰으며, XGBoost와 CatBoost는 각각 0.9051 및 0.9052의 교차 검증 평균을 기록하였다.
• 언어별 추론 임계값(예: 마라티어는 0.6, 구자라트어는 0.4)과 0.01의 확률 보정은 성능 향상에 명백한 기여를 하였다.
• 놀랍게도, 인도어 텍스트에 특화되어 미세조정된 MuRIL은 단독으로 사용했을 땐 성능이 떨어졌지만, 앙상블에서는 유의미한 다양성을 기여하였다.