[논문 리뷰] Towards non-toxic landscapes: Automatic toxic comment detection using DNN

Ashwin Geet d'Sa, Irina Illina외 1명|arXiv (Cornell University)|2019. 11. 19.

Hate Speech and Cyberbullying Detection참고 문헌 24인용 수 19

한 줄 요약

이 논문은 BERT 미세조정을 사용한 딥 네ural 네트워크(DNN) 기반 접근법을 제안하며, 특징 기반 BERT, fastText, Mikolov 임베딩보다 우수한 성능을 보인다. 이는 적대적 변형에 대한 내성 평가와 함께 영문 위키백과 Detox 데이터셋에서 최신 기술 수준의 성능을 확보하여, BERT 미세조정이 유해 콘텐츠 분류에 가장 효과적인 방법임을 입증한다.

ABSTRACT

The spectacular expansion of the Internet has led to the development of a new research problem in the field of natural language processing: automatic toxic comment detection, since many countries prohibit hate speech in public media. There is no clear and formal definition of hate, offensive, toxic and abusive speeches. In this article, we put all these terms under the umbrella of "toxic" speech. The contribution of this paper is the design of binary classification and regression-based approaches aiming to predict whether a comment is toxic or not. We compare different unsupervised word representations and different DNN based classifiers. Moreover, we study the robustness of the proposed approaches to adversarial attacks by adding one (healthy or toxic) word. We evaluate the proposed methodology on the English Wikipedia Detox corpus. Our experiments show that using BERT fine-tuning outperforms feature-based BERT, Mikolov's and fastText representations with different DNN classifiers.

연구 동기 및 목표

• 온라인 논의에서 유해 코멘트를 강건하고 정확하게 분류하는 방법을 개발하는 것.
• 다양한 단어 표현 방식(예: BERT, fastText, Mikolov)이 유해 코멘트 탐지에서 얼마나 효과적인지 비교하는 것.
• DNN 모델이 적대적 단어 변형(유해 또는 무해한)에 얼마나 강건한지 평가하는 것.
• 실제 웹 텍스트 기반 딥 러닝을 활용한 유해 언어 탐지에 강력한 베이스라인을 수립하는 것.

제안 방법

• 저자는 이진 분류 및 회귀 기반 DNN 모델을 사용하여 코멘트의 유해성을 예측한다.
• 다양한 비지도 단어 표현 방식을 비교한다: 미세조정된 BERT, 특징 기반 BERT, fastText, Mikolov의 스킵그램.
• 모델들은 영문 위키백과 Detox 데이터셋에서 훈련 및 평가되며, 이는 유해 코멘트 탐지의 표준 벤치마크이다.
• 적대적 내성 평가를 위해 코멘트에 하나의 단어(유해 또는 비유해)를 삽입하고 모델 성능 변화를 측정한다.
• 미세조정된 BERT를 주요 모델로 사용하며, 의미적 이해 향상을 위해 문맥 기반 임베딩을 활용한다.
• 모델 성능 비교를 위해 AUC-ROC 및 F1-스코어와 같은 표준 NLP 평가 지표를 사용한다.

실험 결과

연구 질문

• RQ1 미세조정된 BERT는 다른 단어 표현 방식보다 유해 코멘트 탐지에서 뛰어난 성능을 보이는가?
• RQ2 다양한 사전 학습된 임베딩을 사용할 때, 다양한 DNN 아키텍처의 성능은 어떻게 다른가?
• RQ3 DNN 모델은 코멘트에 적대적 단어 삽입에 얼마나 강건한가?
• RQ4 통합 프레임워크는 혐오 발언 및 모욕적 표현을 포함한 다양한 형태의 유해 언어를 효과적으로 분류할 수 있는가?

주요 결과

• 미세조정된 BERT는 테스트된 모든 모델 중에서 가장 높은 성능를 기록했으며, 특징 기반 BERT, fastText, Mikolov 임베딩보다 뚜렷하게 뛰어나다.
• 단일 단어가 삽입되더라도 모델은 높은 강건성을 유지하여 미세한 적대적 변형에 대한 저항성을 보인다.
• 특징 기반 BERT는 강력한 성능를 보였지만, 미세조정된 BERT에 비해 성능이 열등하여, 최종 작업에 맞는 미세조정의 이점이 뚜렷하다.
• fastText 및 Mikolov 임베딩은 특히 미묘한 유해 언어를 포착하는 데에서 낮은 성능를 보였다.
• 회귀 기반 접근법은 이진 분류와 유사한 성능를 보였으며, 작업 정의의 유연성을 시사한다.