[논문 리뷰] A BERT-Based Transfer Learning Approach for Hate Speech Detection in Online Social Media

Marzieh Mozafari, Reza Farahbakhsh외 1명|arXiv (Cornell University)|2019. 10. 28.

Hate Speech and Cyberbullying Detection인용 수 6

한 줄 요약

이 논문은 사회 미디어에서 혐오 발언 탐지에 대한 BERT 기반 전이 학습 접근법을 제안하며, 성능 향상을 위해 다수의 BERT 인코더 레이어를 세밀 조정하는 방식을 활용한다. 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 정밀도, 재현율, F1 점수 측면에서 뛰어난 성과를 보이며, 오분류 분석을 통해 데이터 주석 처리 과정에서의 편향을 드러낸다.

ABSTRACT

Generated hateful and toxic content by a portion of users in social media is a rising phenomenon that motivated researchers to dedicate substantial efforts to the challenging direction of hateful content identification. We not only need an efficient automatic hate speech detection model based on advanced machine learning and natural language processing, but also a sufficiently large amount of annotated data to train a model. The lack of a sufficient amount of labelled hate speech data, along with the existing biases, has been the main issue in this domain of research. To address these needs, in this study we introduce a novel transfer learning approach based on an existing pre-trained language model called BERT (Bidirectional Encoder Representations from Transformers). More specifically, we investigate the ability of BERT at capturing hateful context within social media content by using new fine-tuning methods based on transfer learning. To evaluate our proposed approach, we use two publicly available datasets that have been annotated for racism, sexism, hate, or offensive content on Twitter. The results show that our solution obtains considerable performance on these datasets in terms of precision and recall in comparison to existing approaches. Consequently, our model can capture some biases in data annotation and collection process and can potentially lead us to a more accurate model.

연구 동기 및 목표

• 혐오 발언 데이터에 대한 주석이 제한적이고 기존 데이터셋 내 잠재적 편향이 존재하는 문제를 해결하기 위해.
• 사전 훈련된 BERT 모델을 활용한 전이 학습을 통해 혐오 발언 탐지 성능을 향상시키기 위해.
• 다양한 BERT 인코더 레이어가 최종 혐오 발언 분류에 미치는 영향을 새로운 세밀 조정 전략을 통해 조사하기 위해.
• 모델 예측이 데이터 수집 및 주석 처리 과정에서 발생하는 편향을 어떻게 드러내는지 분석하기 위해.
• 맥락을 고려한 강력한 분류기 개발을 통해 혐오 발언, 공격적 언어, 중립적 내용을 정확히 구분할 수 있도록 하기 위해.

제안 방법

• 혐오, 인종차별, 성차별, 공격적 언어 등에 대해 주석 처리된 두 개의 공개된 트위터 데이터셋을 사용하여 사전 훈련된 BERT 모델을 혐오 발언 탐지에 대해 세밀 조정하는 방식.
• 다양한 BERT 트랜스포머 인코더 레이어에서 유도된 문맥적 및 구조적 정보를 활용하기 위해 새로운 CNN 기반 세밀 조정 전략을 적용하는 방식.
• 다양한 BERT 레이어 표현에서의 성능 평가를 통해 혐오 발언 탐지에 최적의 특징 추출 방식을 도출하는 방식.
• 영어 위키백과 및 BookCorpus에서 대규모 사전 훈련을 통해 확보한 일반 언어 이해 능력을 활용한 전이 학습을 수행하는 방식.
• 오분류된 샘플을 분석하여, 특히 방언, 지리적 맥락, 비속어와 관련된 데이터 주석 처리 과정에서의 편향을 규명하는 방식.
• 모델 예측 결과를 인간 주석과 비교하여, 모델이 맥락적 뉘앙스와 주석 처리 편향을 얼마나 잘 탐지할 수 있는지 평가하는 방식.

실험 결과

연구 질문

• RQ1 다양한 BERT 인코더 레이어를 세밀 조정할 경우, 자원이 제한된 사회 미디어 데이터셋에서 혐오 발언 탐지 성능에 어떤 영향을 미치는가?
• RQ2 BERT 기반 모델이 이전 최신 기술 수준의 접근법에 비해 정밀도, 재현율, F1 점수 측면에서 우월한 성능을 보일 수 있는가?
• RQ3 모델이 데이터 수집 및 주석 처리 과정에서 유입된 편향, 특히 방언이나 비속어 관련 편향을 어느 정도 탐지할 수 있는가?
• RQ4 맥락적으로 복잡한 트윗에서 모델은 어떻게 혐오 발언, 공격적 언어, 중립적 내용을 구분하는가?
• RQ5 모델의 예측 결과는 기존 혐오 발언 데이터셋 내 체계적인 주석 처리 편향을 드러낼 수 있는가?

주요 결과

• 제안된 BERT 기반 모델은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 정밀도, 재현율, F1 점수 측면에서 이전 방법들을 능가하였다.
• 다중 BERT 레이어에 대해 CNN 기반 전략을 활용한 세밀 조정이 맥락적 및 문법적 특징을 효과적으로 활용함으로써 탐지 성능을 크게 향상시켰다.
• 모델는 특히 아프리카계 미국인 영어(African American Vernacular English)를 사용하거나 'nigga' 또는 'faggot'과 같은 비속어를 포함한 트윗에서 주석 처리 편향을 탐지하는 데 성공하였다.
• 오분류 사례는 대부분 모델의 실패보다는 주석 처리 편향과 관련이 있었으며, 맥락적으로 중립적이거나 공격적인 표현임에도 불구하고 비속어가 포함된 트윗이 혐오 발언으로 잘못 분류되는 경우가 빈번했다.
• 모델는 암시적 혐오, 공격적 언어, 중립적 내용을 효과적으로 구분함으로써 사전 훈련된 지식을 통해 강력한 맥락 이해 능력을 보였다.
• 오분류된 샘플 분석을 통해 주석자들이 발언자 신원, 방언, 사회적 맥락을 고려하지 않은 채 비속어를 단순히 혐오 발언으로 분류하는 경향이 있음을 확인하였으며, 이는 데이터 편향을 명확히 드러내었다.