[논문 리뷰] QutNocturnal@HASOC'19: CNN for Hate Speech and Offensive Content Identification in Hindi Language

Md Abul Bashar, Richi Nayak|arXiv (Cornell University)|2020. 08. 28.

Hate Speech and Cyberbullying Detection참고 문헌 6인용 수 11

한 줄 요약

이 논문은 0.5M개의 관련 히ند어 및 ힹ글리쉬 트윗을 기반으로 사전 훈련된 도메인 특화 워드 임베딩을 활용하여 히ند어에서 혐오 발언 및 공격적 콘텐츠 탐지에 대해 최고 성능을 내는 CNN 모델인 QutNocturnal@HASOC'19를 제안한다. 이 방법은 트윗의 노이즈에 강건하고 局소 패턴을 포착할 수 있는 CNN의 특성 덕분에 LSTM 및 전통적 모델보다 뛰어난 성능을 보이며, 테스트 세트에서 82%의 정확도를 기록한다.

ABSTRACT

We describe our top-team solution to Task 1 for Hindi in the HASOC contest organised by FIRE 2019. The task is to identify hate speech and offensive language in Hindi. More specifically, it is a binary classification problem where a system is required to classify tweets into two classes: (a) \emph{Hate and Offensive (HOF)} and (b) \emph{Not Hate or Offensive (NOT)}. In contrast to the popular idea of pretraining word vectors (a.k.a. word embedding) with a large corpus from a general domain such as Wikipedia, we used a relatively small collection of relevant tweets (i.e. random and sarcasm tweets in Hindi and Hinglish) for pretraining. We trained a Convolutional Neural Network (CNN) on top of the pretrained word vectors. This approach allowed us to be ranked first for this task out of all teams. Our approach could easily be adapted to other applications where the goal is to predict class of a text when the provided context is limited.

연구 동기 및 목표

• 히нд어와 같은 저자원 언어에서 혐오 발언 및 공격적 콘텐츠 탐지에 효과적인 자연어 처리 솔루션의 부족을 해결하기 위해.
• 작업 전용 워드 임베딩을 활용한 전이 학습을 통해 노이즈가 많고 비공식적인 소셜 미디어 텍스트에서 분류 성능을 향상시키기 위해.
• 짧고 노이즈가 많고 맥락적으로 복잡한 히нд어 트윗에서 공격적 언어를 탐지할 때 CNN이 LSTM과 같은 RNN 모델보다 우수한 성능을 보이는지 조사하기 위해.
• 관련된 비라벨링된 소셜 미디어 데이터에서 워드 벡터를 미세 조정함으로써 저자원 언어 작업에 대한 모델 일반화 능력 향상이 가능함을 보여주기 위해.

제안 방법

• 무작위 히нд어 및 풍자적인 ힹ글리쉬 트윗으로 구성된 0.5M개 트윗 코퍼스를 기반으로 도메인 특화 언어 패턴을 포착하기 위해 사전 훈련된 워드 임베딩.
• de-identification, 문자 정규화, HTML 엔티티 복원, spaCy 및 경량 히нд어 어간 추출기(스터머)를 사용한 다국어 어형 통합 등의 광범위한 전처리를 적용.
• 히нд어 트윗을 HOF(Hate or Offensive) 또는 NOT로 종료 분류하기 위해 사전 훈련된 워드 벡터 위에 맞춤형 컨volutional 신경망(CNN)을 훈련.
• 하류 분류 작업에 적합하도록 사전 훈련된 워드 벡터를 미세 조정함으로써 전이 학습을 적용.
• 초기 하이퍼파라미터 튜닝을 위해 훈련 세트에서 10겹 교차 검증을 실시하고, 훈련 데이터의 20%를 검증용으로 할당.
• 성능 평가를 위해 DNN, SVM, RF, XGBoost, kNN, LSTM, MNB 등 다양한 베이스라인과 CNN 모델을 비교.

실험 결과

연구 질문

• RQ1 일반 도메인 사전 훈련 대비, 비라벨링된 히нд어 및 ힹ글리쉬 트윗에서 훈련된 도메인 특화 워드 임베딩이 혐오 발언 탐지 성능 향상에 기여하는가?
• RQ2 짧고 노이즈가 많고 맥락적으로 복잡한 히нд어 소셜 미디어 텍스트에서 공격적 콘텐츠를 분류할 때 CNN 기반 아키텍처가 LSTM과 같은 RNN 기반 모델보다 뛰어난가?
• RQ3 히нд어와 같은 저자원 언어 환경에서 작업 전용 워드 벡터를 활용한 전이 학습은 얼마나 효과적인가?
• RQ4 풍자, 철자 오류, 코드 믹싱과 같은 언어 패턴이 다양한 딥러닝 아키텍처의 공격적 언어 탐지 성능에 어느 정도 영향을 미치는가?

주요 결과

• CNN 모델은 테스트 세트에서 82%의 정확도를 기록했으며, 매크로 F1 스코어는 0.81로, HASOC'19 히нд어 혐오 발언 탐지 대회에서 최상위 순위를 기록한 솔루션이다.
• CNN 모델은 매크로 F1 스코어 0.78을 기록한 LSTM을 능가했으며, 트윗의 노이즈에 대한 강건성에서 뛰어난 성능을 입증했다.
• 테스트 세트에서 HOF 클래스에 대해 정밀도는 0.85, 재현율은 0.74였고, NOT 클래스에 대해 정밀도는 0.80, 재현율은 0.89였다.
• 도메인 특화 워드 임베딩의 미세 조정으로 kNN 및 MNB와 같은 기준 모델보다 F1 스코어가 10% 향상되었으며, 이들의 스코어는 0.52 이하였다.
• 노이즈로 인해 단어 순서가 왜곡되더라도 국소적이고 비순차적인 패턴을 포착할 수 있는 능력 덕분에 CNN이 이 작업에 더 효과적임을 시사한다.
• 관련된 비라벨링된 트윗 코퍼스를 활용한 워드 임베딩 사전 훈련을 통한 전이 학습은 특히 저자원 환경에서 모델 성능 향상에 크게 기여했다.