[논문 리뷰] Walk in Wild: An Ensemble Approach for Hostility Detection in Hindi Posts

Chander Shekhar, Bhavya Bagla외 2명|arXiv (Cornell University)|2021. 01. 15.

Hate Speech and Cyberbullying Detection참고 문헌 8인용 수 7

한 줄 요약

이 논문은 저자원 언어인 히브리어 소셜미디어 게시물의 적대성 탐지에 mBERT, XGBoost, ANN을 조합한 앙상블 모델을 제안한다. 이는 저자원 언어 문제를 해결하며, 이진 분류에서 약 0.969의 가중 F1 점수와 다중 레이블 분류에서 약 0.615의 점수를 기록하여 히브리어 적대성 탐지 경연 대회에서 3위를 차지했다.

ABSTRACT

As the reach of the internet increases, pejorative terms started flooding over social media platforms. This leads to the necessity of identifying hostile content on social media platforms. Identification of hostile contents on low-resource languages like Hindi poses different challenges due to its diverse syntactic structure compared to English. In this paper, we develop a simple ensemble based model on pre-trained mBERT and popular classification algorithms like Artificial Neural Network (ANN) and XGBoost for hostility detection in Hindi posts. We formulated this problem as binary classification (hostile and non-hostile class) and multi-label multi-class classification problem (for more fine-grained hostile classes). We received third overall rank in the competition and weighted F1-scores of ~0.969 and ~0.61 on the binary and multi-label multi-class classification tasks respectively.

연구 동기 및 목표

• 히브리어처럼 저자원이며 고도로 다양성이 높은 언어에서 적대성 탐지 문제를 해결하기 위해, 강력한 도구와 데이터셋이 부족한 상황을 해결한다.
• 히브리어 소셜미디어에서 혐오 발언, 가짜 뉴스, 명예 훼손과 같은 적대적 콘텐츠를 탐지하기 위한 강력하고 확장 가능한 시스템을 개발한다.
• 다국어 미리 훈련된 모델과 앙상블 학습을 활용하여 저자원 언어 NLP 작업의 성능을 향상시킨다.
• 모델 앙상블과 미세조정된 표현을 통해 클래스 불균형 문제를 해결하고 세분화된 분류 성능을 향상시킨다.
• 공개 경연에 참가하여 상위 성과를 달성함으로써 향후 히브리어 독성 탐지 분야의 기준을 마련한다.

제안 방법

• 전처리 단계에서는 URL를 제거하면서 이모티콘과 해시태그를 유지한 후, mBERT 토크나이저를 사용하여 토크나이징을 수행하며, 128개의 시퀀스 길이 제한을 적용한다.
• 후행 표현은 mBERT의 [CLS] 토큰 임베딩(원시 표현)과 최종 학습 단계에서의 미세조정된 표현을 사용하여 추출한다.
• 이중 단계 분류 프레임워크를 적용한다: 굵은 분류(이진: 적대적/비적대적)와 세밀한 분류(다중 레이블: 가짜 뉴스, 혐오 발언, 공격적 발언, 명예 훼손).
• mBERT 임베딩을 입력으로 사용하여 여러 모델을 훈련한다: 인공 신경망(ANN), XGBoost, 로지스틱 회귀 모델이며, 하이퍼파라미터 튜닝을 수행한다.
• 앙상블 모델은 개별 F1 점수를 기반으로 가중 평균을 사용하여 네 개의 별도 제출 결과를 조합하며, 최종 출력은 다음과 같이 계산된다: $ \hat{O_{ij}} = \frac{\sum_{i=1}^{4} \sum_{j=1}^{n} O_{ij} \times ff1_i}{\sum_{i=1}^{4} ff1_i} $.
• 미세조정된 표현은 원시 표현보다 항상 뛰어난 성능을 보이며, 세밀한 분류 작업에서 가중 F1 점수를 0.24 향상시켰다.

실험 결과

연구 질문

• RQ1 mBERT, XGBoost, ANN 모델의 앙상블가 저자원 히브리어 소셜미디어 콘텐츠의 적대성 탐지에 효과적으로 기여할 수 있는가?
• RQ2 mBERT 표현의 미세조정이 히브리어에서 이진 및 다중 레이블 적대성 분류 작업 성능에 미치는 영향은 어떠한가?
• RQ3 이 저자원 환경에서 앙상블 학습을 통해 조합된 다양한 분류기(예: XGBoost 대비 ANN)의 상대적 기여도는 어떠한가?
• RQ4 클래스 불균형은 모델 성능에 어떤 영향을 미치며, 앙상블 방법은 히브리어 적대성 탐지에서 이 문제를 완화할 수 있는가?
• RQ5 이모티콘과 해시태그와 같은 특징들이 히브리어 게시물의 정확한 적대성 탐지에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 앙상블 모델은 굵은 분류(이진) 작업에서 가중 F1 점수 0.969를 기록하여 대회에서 3위를 차지했다.
• 세밀한 다중 레이블 분류 작업에서 최고의 제출 결과는 검증 세트에서 가중 F1 점수 0.6149, 테스트 세트에서 0.6088를 기록했다.
• 세밀한 분류 작업에서 미세조정된 mBERT 표현은 원시 표현 대비 가중 F1 점수를 0.24 향상시켰다.
• 모든 적대성 유형에서 베이스라인 모델(예: SVM, RF, LR)보다 뚜렷이 뛰어난 성능을 보였으며, 특히 가짜 뉴스와 공격적 발언 탐지에서 두드러진 성능을 보였다.
• 명예 훼손 클래스는 학습 세트가 작아 F1 점수가 가장 낮았으며, 이는 강력한 미리 훈련된 모델가 있더라도 여전히 데이터 부족이 핵심 과제임을 시사한다.
• 네 개의 모델을 가중 평균한 앙상블를 사용한 제출-4가 세밀한 분류에서 가장 높은 성능을 기록하여, F1 기반 가중 평균의 앙상블 평균화 기법의 효과성을 입증했다.