[논문 리뷰] Offensive Language Detection with BERT-based models, By Customizing Attention Probabilities

Peyman Alavi, Pouria Nikvand외 1명|arXiv (Cornell University)|2021. 10. 11.

Hate Speech and Cyberbullying Detection인용 수 8

한 줄 요약

이 논문은 다중항법 베이지안 확률에서 유도된 공격적 점수를 사용하여 주의 마스크를 맞춤 설정하여 BERT 기반 모델의 공격적 언어 탐지 성능을 향상시키는 방법을 제안한다. 주의 확률을 공격적 표현에 더 집중하도록 재가중시킴으로써, 이 방법은 페르시아어 데이터셋에서 최대 10%의 F1-macro 점수 향상을, 영어 데이터셋에서는 최대 2% 향상을 기록하여 다양한 언어와 모델 아키텍처에서 효과를 입증한다.

ABSTRACT

This paper describes a novel study on using `Attention Mask' input in transformers and using this approach for detecting offensive content in both English and Persian languages. The paper's principal focus is to suggest a methodology to enhance the performance of the BERT-based models on the `Offensive Language Detection' task. Therefore, we customize attention probabilities by changing the `Attention Mask' input to create more efficacious word embeddings. To do this, we firstly tokenize the training set of the exploited datasets (by BERT tokenizer). Then, we apply Multinomial Naive Bayes to map these tokens to two probabilities. These probabilities indicate the likelihood of making a text non-offensive or offensive, provided that it contains that token. Afterwards, we use these probabilities to define a new term, namely Offensive Score. Next, we create two separate (because of the differences in the types of the employed datasets) equations based on Offensive Scores for each language to re-distribute the `Attention Mask' input for paying more attention to more offensive phrases. Eventually, we put the F1-macro score as our evaluation metric and fine-tune several combinations of BERT with ANNs, CNNs and RNNs to examine the effect of using this methodology on various combinations. The results indicate that all models will enhance with this methodology. The most improvement was 2% and 10% for English and Persian languages, respectively.

연구 동기 및 목표

• 주어진 주의 메커니즘의 동적 조정을 통해 BERT 기반 모델의 공격적 언어 탐지 성능을 향상시키는 것.
• 표준 주의 메커니즘이 미세한 공격적 신호를 놓칠 수 있는 한계를 보완하기 위해 고영향도 공격적 표현에 더 집중하도록 주의를 조정하는 것.
• 영어 및 페르시아어에 모두 적용 가능한 언어 독립적 방법론을 개발하고, 별개의 데이터셋에서 검증하는 것.
• 공격적 콘텐츠에 대한 통계적 확률 추정을 활용한 주의 마스크 맞춤 설정의 영향을 탐구하는 것.
• 제안된 주의 재가중 기법을 사용해 미세조정된 다양한 아키텍처(CNN, RNN, ANN)에서 일관된 성능 향상을 보여주는 것.

제안 방법

• 공격적/비공격적 레이블에 대한 토큰 수준의 확률을 기반으로 Multinomial Naive Bayes를 사용해 공격적 점수를 계산하고, BERT의 토크나이저를 사용해 훈련 데이터를 토큰화한다.
• 언어에 특화된 수식을 정의하여 공격적 점수에 기반해 주의 마스크 값의 재분배를 수행하고, 고점수 토큰에 대해 주의를 증가시킨다.
• 수정된 주의 마스크를 BERT 기반 모델에 통합하여 표준 주의 입력을 대체함으로써 주의를 공격적 표현 쪽으로 유도한다.
• OLID(영어) 및 POLID(페르시아어) 데이터셋에서 BERT와 피드포워드 네트워크, CNN, RNN(BiLSTM, BiGRU), 하이브리드 아키텍처의 다양한 조합을 미세조정한다.
• 5-fold 교차검증에서 폴드 간 성능 평가를 위해 F1-macro를 주요 평가 지표로 사용한다.
• 기존 모델이 잘못 분류한 경우, 특히 관용어나 맥락 기반 공격적 표현을 포함한 사례를 식별하기 위해 오류 분석을 수행한다.

실험 결과

연구 질문

• RQ1 공격적 점수를 사용해 주의 마스크를 재가중시키는 것이 BERT 기반 모델의 공격적 언어 탐지에서 F1-macro 성능을 향상시킬 수 있는가?
• RQ2 제안된 주의 맞춤 설정은 다양한 신경망 아키텍처(CNN, RNN, 피드포워드 네트워크)에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 다른 언어적 구조를 가진 영어와 페르시아어 간에 이 방법이 얼마나 일반화되는가?
• RQ4 향상된 모델의 실패 사례는 무엇이며, 희귀하거나 모호한 공격적 어휘에 대한 공격적 점수 추정의 한계는 무엇인가?
• RQ5 각 토큰에 대한 수동 레이블링 없이도 다항법 베이지안을 통한 공격적 확률 추정이 주의 재가중에 효과적으로 기여할 수 있는가?

주요 결과

• 제안된 방법은 페르시아어 POLID 데이터셋에서 최대 10%의 F1-macro 점수 향상을 기록했으며, 최고 성능을 낸 모델는 심층 합성곱 신경망(CNN2D)과 식 (6)을 사용해 평균 F1 점수 0.8630을 달성했다.
• 영어 OLID 데이터셋에서는 F1-macro에서 최대 2%의 향상이 있었으며, 최고 성능 모델(CNN2D + 식 (6))은 평균 F1 점수 0.8630에 도달했다.
• 모든 테스트된 모델 아키텍처(BiLSTM, BiGRU, CNN2D, CNN-BiLSTM, KUISAIL)가 맞춤 주의 마스크를 사용할 경우 일관된 성능 향상을 보였다.
• 오류 분석 결과, 표준 모델이 잘못 분류한 관용어나 맥락 기반 공격적 표현(예: 페르시아어 관용어 'muzmaars')을 향상된 모델이 정확히 분류한 것으로 확인되었다.
• 낮은 공격적 점수를 가진 토큰(예: 공격적 단어의 점수 ~0.53)에 대해 다항법 베이지안의 확률 추정이 부족하여 실패한 사례가 있었으며, 이는 점수 校정의 한계를 시사한다.
• 다양한 아키텍처에서의 뛰어난 성능 안정성은 주의 마스크 맞춤 설정이 공격적 언어 탐지에 일반화 가능한 개선 기법임을 시사한다.