[논문 리뷰] Neural Word Decomposition Models for Abusive Language Detection

Sravan Bodapati, Spandana Gella외 2명|arXiv (Cornell University)|2019. 01. 01.

Hate Speech and Cyberbullying Detection참고 문헌 34인용 수 2

한 줄 요약

이 논문은 악성 언어 탐지에 대해 BERT 미세조정 및 사전 학습된 임베딩과 함께 신경어절 분해 모델(문자 수준, 서브워드(BPE), 하이브리드 단어+문자)을 조합하여 연구한다. BERT 미세조정은 위키백과 공격 및 독성 데이터셋에서 최신 기술 성능(SOTA)을 달성하며, BERT의 서브워드 토큰화가 fastText 및 TextCNN과 같은 어휘 기반 모델의 성능을 크게 향상시켜 맞춤형 BPE 모델을 능가함을 입증한다.

ABSTRACT

User generated text on social media often suffers from a lot of undesired characteristics including hatespeech, abusive language, insults etc. that are targeted to attack or abuse a specific group of people. Often such text is written differently compared to traditional text such as news involving either explicit mention of abusive words, obfuscated words and typological errors or implicit abuse i.e., indicating or targeting negative stereotypes. Thus, processing this text poses several robustness challenges when we apply natural language processing techniques developed for traditional text. For example, using word or token based models to process such text can treat two spelling variants of a word as two different words. Following recent work, we analyze how character, subword and byte pair encoding (BPE) models can be aid some of the challenges posed by user generated text. In our work, we analyze the effectiveness of each of the above techniques, compare and contrast various word decomposition techniques when used in combination with others. We experiment with finetuning large pretrained language models, and demonstrate their robustness to domain shift by studying Wikipedia attack, toxicity and Twitter hatespeech datasets

연구 동기 및 목표

• 노이즈가 많고 사용자 생성 콘텐츠인 소셜 미디어 텍스트에서 악성 언어를 탐지하는 데 도전하는 문제를 해결하기 위해.
• 기존 어휘 기반 모델과 비교하여 문자 수준, 서브워드(BPE), 하이브리드 단어+문자 모델의 효과성을 평가하기 위해.
• 표준 텍스트에서 사전 학습된 대규모 사전 학습된 언어 모델(BERT 등)이 표준 텍스트와의 도메인 이탈에도 불구하고 악성 언어 탐지에 대해 강건하게 일반화될 수 있는지 조사하기 위해.
• 특히 BERT의 WordPiece 토큰화가 악성 언어 데이터셋에서 어휘 기반 모델의 성능을 얼마나 향상시키는지 분석하기 위해.

제안 방법

• 도메인 이탈에 대한 전이 가능성과 강건성을 평가하기 위해, 위키백과 공격 및 독성 데이터셋에서 BERT를 미세조정한다.
• 어휘 기반 모델(fastText, TextCNN)에 입력되는 텍스트에 대해 BERT의 WordPiece 토큰화를 적용하여 서브워드 표현을 활용한다.
• 엔드 투 엔드 문자 수준 모델을 훈련하고, 어휘+문자 임베딩 모델과 비교하여 표현 학습 능력을 평가한다.
• W-ATT 및 W-TOX 데이터셋에서 훈련한 맞춤형 BPE 모델을 사용하여, BERT의 사전 학습된 BPE와 서브워드 분할 성능를 비교한다.
• 여러 데이터셋(Twitter hatespeech, Wikipedia toxicity, attack)에서 매크로 F1 점수를 주요 평가 지표로 사용한다.
• 어휘 기반 모델의 실패 사례와 BERT-WordPiece 토큰화 모델의 성공 사례를 정성적으로 분석하여 서브워드 정보의 유용성 이해를 도모한다.

실험 결과

연구 질문

• RQ1 BPE나 WordPiece를 통한 서브워드 수준 모델링이 순수 어휘 수준 또는 문자 수준 모델보다 악성 언어 탐지 성능을 향상시키는가?
• RQ2 표준 텍스트에서 사전 학습된 비독성 텍스트로 사전 학습된 BERT 모델이 비독성 텍스트와의 도메인 이탈에도 불구하고 악성 언어 탐지에서 최신 기술 성능을 달성할 수 있는가?
• RQ3 악성 언어 텍스트에서 훈련한 맞춤형 BPE 모델과 비교해 볼 때, BERT의 사전 학습된 서브워드 토큰화는 성능과 서브워드 품질 측면에서 어떻게 다른가?
• RQ4 BERT의 서브워드 표현은 fastText 및 TextCNN과 같은 어휘 기반 모델의 성능을 어느 정도 향상시키는가?
• RQ5 왜곡되거나 노이즈가 많은 악성 언어를 탐지하는 데 문자 수준 모델이 서브워드 모델을 능가할 수 있는가?

주요 결과

• 위키백과 공격 및 독성 데이터셋에서 BERT를 미세조정하면 최신 기술 매크로 F1 점수를 달성하며, 도메인 이탈에 대한 강건성을 입증한다.
• BERT의 WordPiece 토큰화는 어휘 기반 모델(fastText 및 TextCNN)의 성능을 크게 향상시키며, 맞춤형 BPE 모델과 표준 어휘 기반 모델 모두를 능가한다.
• 서브워드 모델(특히 BERT의 WordPiece)이 엔드 투 엔드 문자 기반 모델보다 성능이 뛰어나, 노이즈가 많은 텍스트에서도 어절 경계 정보가 여전히 유용함을 시사한다.
• 악성 언어 텍스트에서 훈련한 맞춤형 BPE 모델은 BERT의 사전 학습된 BPE보다 성능이 떨어지며, 이는 사전 학습된 서브워드 단위가 더 정보가 많고 일반화 능력이 뛰어나다는 것을 시사한다.
• TextCNN 모델에 문자 임베딩을 추가하면 어휘-CNN만 사용하는 것보다 약간의 성능 향상을 보이지만, 서브워드 기반 접근 방식에 비해 열등하다.
• 정성적 분석을 통해 BERT의 WordPiece가 악성 어휘(예: 'nlgg3r')를 의미 있는 서브워드로 효과적으로 분할하여 어휘 기반 모델보다 더 나은 탐지 성능을 제공함을 확인하였다.