[논문 리뷰] Transfer Learning Approach for Arabic Offensive Language Detection System -- BERT-Based Model

Fatemah Husain, Özlem Uzuner|arXiv (Cornell University)|2021. 02. 09.

Hate Speech and Cyberbullying Detection참고 문헌 10인용 수 10

한 줄 요약

이 논문은 아랍어 소셜미디어에서 폭력적 언어를 탐지하기 위해 BERT 기반 전이학습 접근법을 제안하며, 여러 아랍어 폭력적 언어 데이터셋에 대한 미세조정 성능을 평가한다. 전이학습을 활용하고도 성능 향상이 제한적이며, 특히 고도로 방언화된 댓글에서는 성능 향상이 미미하여 아랍어 NLP 작업에서의 데이터셋 간 일반화 문제를 드러낸다.

ABSTRACT

Developing a system to detect online offensive language is very important to the health and the security of online users. Studies have shown that cyberhate, online harassment and other misuses of technology are on the rise, particularly during the global Coronavirus pandemic in 2020. According to the latest report by the Anti-Defamation League (ADL), 35% of online users reported online harassment related to their identity-based characteristics, which is a 3% increase over 2019. Applying advanced techniques from the Natural Language Processing (NLP) field to support the development of an online hate-free community is a critical task for social justice. Transfer learning enhances the performance of the classifier by allowing the transfer of knowledge from one domain or one dataset to others that have not been seen before, thus, supporting the classifier to be more generalizable. In our study, we apply the principles of transfer learning cross multiple Arabic offensive language datasets to compare the effects on system performance. This study aims at investigating the effects of fine-tuning and training Bidirectional Encoder Representations from Transformers (BERT) model on multiple Arabic offensive language datasets individually and testing it using other datasets individually. Our experiment starts with a comparison among multiple BERT models to guide the selection of the main model that is used for our study. The study also investigates the effects of concatenating all datasets to be used for fine-tuning and training BERT model. Our results demonstrate the limited effects of transfer learning on the performance of the classifiers, particularly for highly dialectic comments.

연구 동기 및 목표

• 전이학습을 활용하여 견고한 아랍어 폭력적 언어 탐지 시스템을 개발하기.
• 여러 아랍어 폭력적 언어 데이터셋 간 BERT 모델의 미세조정 효과를 평가하기.
• 여러 데이터셋을 결합함으로써 모델의 일반화 능력과 성능 향상 여부를 평가하기.
• 고도로 방언화된 아랍어 텍스트에서 폭력적 언어를 탐지하는 데 직면한 과제를 조사하기.
• 아랍어 폭력적 언어 탐지에서 다양한 BERT 아키텍처 간 성능을 비교하기.

제안 방법

• 개별 아랍어 폭력적 언어 데이터셋에 대해 사전에 훈련된 여러 BERT 모델을 미세조정하기.
• 훈련 중에 볼 수 없었던 데이터셋으로 테스트하여 제로샷 일반화 능력을 평가하기.
• 가용한 모든 폭력적 언어 데이터셋을 결합하여 통합된 BERT 모델을 훈련하기.
• 다양한 BERT 변종 간 성능을 비교하여 아랍어 폭력적 언어 탐지에 가장 효과적인 아키텍처를 특정하기.
• 분류기 성능을 측정하기 위해 표준 NLP 평가 지표(예: F1 점수, 정밀도, 재현율)를 사용하기.
• 원본 데이터셋에서의 지식을 훈련 중에 볼 수 없는 타겟 데이터셋으로 전이하기 위해 전이학습 원리를 적용하기.

실험 결과

연구 질문

• RQ1 개별 아랍어 폭력적 언어 데이터셋에 대해 BERT를 미세조정하면 탐지 성능 향상이 이루어지는가?
• RQ2 훈련 중에 볼 수 없었던 아랍어 폭력적 언어 데이터셋에 대해 전이학습은 얼마나 효과적인가?
• RQ3 훈련에 여러 데이터셋을 결합함으로써 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 다양한 BERT 아키텍처는 아랍어 폭력적 언어 탐지에서 어떻게 비교되는가?
• RQ5 어느 정도의 방언적 변동성이 아랍어 폭력적 언어 탐지에서 전이학습의 효과를 제한하는가?

주요 결과

• 개별 데이터셋에 대해 BERT 모델을 미세조정하면 중간 정도의 성능 향상이 이루어지지만, 다양한 테스트 세트 간 성능 향상은 제한적이다.
• 전이학습은 특히 고도로 방언화된 아랍어 댓글에서 폭력적 콘텐츠를 탐지할 때 제한적인 효과를 보인다.
• 모든 데이터셋을 결합하여 훈련하더라도, 볼 수 없는 데이터셋에서의 모델 일반화 능력이나 성능 향상은 유의미하게 향상되지 않는다.
• 언어적 다양성과 방언의 다양성으로 인해 아랍어 폭력적 언어 탐지에서 데이터셋 간 전이에 심각한 과제가 존재함을 밝혀냈다.
• 데이터셋 간 성능에 상당한 차이가 있으며, 한 데이터셋에서 훈련된 모델이 다른 데이터셋으로 일반화하기에 잘 되지 않는다는 점을 시사한다.
• 평가된 BERT 모델들 중에서 어떤 아키텍처도 모든 테스트 시나리오에서 일관되게 다른 모델보다 뛰어나지 않으며, 이는 데이터셋 특성에 민감함을 시사한다.