[논문 리뷰] Hate Speech Detection from Code-mixed Hindi-English Tweets Using Deep Learning Models

Kamble Satyajit, Aditya Joshi|arXiv (Cornell University)|2018. 11. 13.

Hate Speech and Cyberbullying Detection참고 문헌 13인용 수 74

한 줄 요약

이 논문은 도메인 특정 임베딩을 활용한 세 가지 딥러닝 모델(CNN-1D, LSTM, BiLSTM)을 개발하여 힌디어-영어 코드 혼합 트윗에서 혐오 발언을 탐지하고 통계적 기준선에 비해 F-score 약 12% 향상을 보인다.

ABSTRACT

This paper reports an increment to the state-of-the-art in hate speech detection for English-Hindi code-mixed tweets. We compare three typical deep learning models using domain-specific embeddings. On experimenting with a benchmark dataset of English-Hindi code-mixed tweets, we observe that using domain-specific embeddings results in an improved representation of target groups, and an improved F-score.

연구 동기 및 목표

• 힌디어-영어 코드 혼합 트윗에서 사회적 미디어 맥락의 혐오 발언 탐지를 동기화한다.
• 일반적인 데이터셋에서 딥러닝 아키텍처를 통계적 기준선과 비교 평가한다.
• 도메인 특정 단어 임베딩이 혐오 발언의 대상 집단 표현을 개선하는지 보여준다.
• CNN-1D, LSTM, BiLSTM를 비교하여 가장 성능이 우수한 모델을 식별한다.

제안 방법

• gensim Word2Vec을 사용하여 대규모 코드 혼합 트윗 말뭉치에서 도메인 특정 단어 임베딩을 학습한다.
• 도메인 특정 임베딩과 함께 이진 혐오 발화 분류를 수행하는 세 가지 딥러닝 모델(CNN-1D, LSTM, BiLSTM)을 구현한다.
• CNN-1D에서 글로벌 맥스 풀링과 드롭아웃을 사용하고, LSTM/BiLSTM으로 시퀀스 처리를 한 후 글로벌 맥스 풀링을 적용한다.
• Bohra et al. (2018) 데이터셋에서 10-fold 교차 검증으로 모델을 학습하고 평가한다.
• 공정한 비교를 위해 벤치마크 통계적 방법(SVM, Random Forest)을 재구현한다.

실험 결과

연구 질문

• RQ1 도메인 특정 임베딩을 갖춘 딥러닝 모델이 힌디어-영어 코드 혼합 혐오 발언 데이터셋에서 기존의 통계적 방법보다 성능을 낼 수 있는가?
• RQ2 어떤 신경망 아키텍처(CNN-1D, LSTM, BiLSTM)가 코드 혼합 혐오 발언의 의미를 가장 잘 포착하는가?
• RQ3 도메인 특정 임베딩이 일반 임베딩보다 소수자 집단 및 혐오 표현을 더 잘 표현하는가?
• RQ4 목표 데이터셋에서 딥러닝 모델의 정밀도, 재현율, F-score, 정확도는 통계적 기준선 대비 얼마나 향상되는가?

주요 결과

• CNN-1D가 F-score 80.85% 및 정확도 82.62%로 가장 높은 성능을 보였다.
• 딥러닝 모델은 전체적으로 F-score, 정밀도, 재현율에서 통계적 기준선을 능가했다.
• 도메인 특정 임베딩은 일반 임베딩에 비해 소수자 그룹 및 혐오 표현의 유사도 표현을 개선한다.
• BiLSTM은 CNN-1D보다 재현율이 약간 더 좋고, CNN-1D가 더 높은 정밀도를 제공한다.
• 도메인 특정 임베딩은 일반 임베딩에 존재하지 않는 욕설 단어를 포함하고 있어 혐오 발언의 의미 표현을 개선한다.
• 통계적 기준선 대비 F-score가 약 12% 향상되었다.