[논문 리뷰] Investigating Deep Learning Approaches for Hate Speech Detection in Social Media

Prashant Kapil, Asif Ekbal외 1명|arXiv (Cornell University)|2020. 05. 29.

Hate Speech and Cyberbullying Detection인용 수 12

한 줄 요약

이 논문은 소셜 미디어에서 특히 트윗과 같은 짧고 맥락이 부족한 텍스트에서 혐오 발언을 탐지하기 위해 다양한 워드 임베딩을 사용하는 딥러닝 모델을 제안한다. 세 가지 다양한 데이터셋에서의 실험을 통해 정확도와 F1 점수에서 뚜렷한 향상을 입증하여, 사용자 생성 혐오 발언의 복잡성과 다양성에 대응하는 데 효과적인 접근임을 확인한다.

ABSTRACT

The phenomenal growth on the internet has helped in empowering individual's expressions, but the misuse of freedom of expression has also led to the increase of various cyber crimes and anti-social activities. Hate speech is one such issue that needs to be addressed very seriously as otherwise, this could pose threats to the integrity of the social fabrics. In this paper, we proposed deep learning approaches utilizing various embeddings for detecting various types of hate speeches in social media. Detecting hate speech from a large volume of text, especially tweets which contains limited contextual information also poses several practical challenges. Moreover, the varieties in user-generated data and the presence of various forms of hate speech makes it very challenging to identify the degree and intention of the message. Our experiments on three publicly available datasets of different domains shows a significant improvement in accuracy and F1-score.

연구 동기 및 목표

• 온라인 표현의 자유가 악용되면서 증가하는 소셜 미디어 플랫폼 내 혐오 발언 문제를 다루기 위해.
• 트윗과 같은 짧고 맥락이 제한된 텍스트에서 다양한 형태의 혐오 발언을 탐지할 수 있는 강력한 딥러닝 모델을 개발하기 위해.
• 다양한 소셜 미디어 도메인에서 미묘한 혐오 발언 표현을 포착하는 데 있어 다양한 워드 임베딩의 효과를 평가하기 위해.
• 실제로 공개된 혐오 발언 데이터셋을 대상으로 정확도와 F1 점수 측면에서 탐지 성능을 향상시키기 위해.

제안 방법

• 연구는 소셜 미디어의 입력 텍스트 시퀀스를 표현하기 위해 다수의 사전 학습된 워드 임베딩(예: GloVe, FastText, BERT)을 활용한다.
• 단일 방향의 순환 신경망보다 더 나은 맥락적 패턴을 포착하기 위해, 순차적 의존성과 맥락적 패턴을 모델링하기 위해 양방향 장기 단기 기억망(Bi-LSTM)을 적용한다.
• 입력 시퀀스를 혐오 발언 또는 비혐오 발언 카테고리로 분류하기 위해 Bi-LSTM 위에 밀집(feedforward) 신경망을 사용한다.
• 과적합을 방지하기 위해 조기 정지 기법을 적용한 케이스에서 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 일반화 능력을 확보하기 위해 다양한 도메인에서 온라인 공개된 세 개의 혐오 발언 데이터셋에서 실험을 수행한다.
• 모델 성능을 최적화하기 위해 하이퍼파ram터 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 워드 임베딩 기법이 짧은 소셜 미디어 텍스트에서의 혐오 발언 탐지 성능에 어떤 영향을 미치는가?
• RQ2 Bi-LSTM과 같은 딥러닝 아키텍처가 미묘하거나 맥락에 의존하는 혐오 발언 탐지에 얼마나 기여하는가?
• RQ3 제안된 모델은 언어 스타일과 혐오 발언 표현이 상이한 다양한 소셜 미디어 도메인 간에 일반화 가능한가?
• RQ4 다양한 벤치마크 데이터셋에서 F1 점수와 정확도 측면에서 모델의 비교 성능는 어떠한가?

주요 결과

• 제안된 딥러닝 모델은 기준 방법 대비 평가된 세 데이터셋 전반에서 F1 점수에서 뚜렷한 향상을 보였다.
• 대부분의 경우, BERT와 같은 맥락 기반 임베딩이 GloVe나 FastText와 같은 정적 임베딩보다 높은 성능을 보였다.
• 트윗와 같은 짧고 비공식적인 텍스트에서 맥락이 제한된 경우에도 혐오 발언 탐지에 있어 뛰어난 강건성을 보였다.
• Bi-LSTM와 사전 학습된 임베딩의 조합이 가장 우수한 전반적인 성능을 보였으며, 이는 순차적 모델링과 의미적 표현의 중요성을 시사한다.