[논문 리뷰] Hate Speech Detection on Vietnamese Social Media Text using the Bi-GRU-LSTM-CNN Model

Tin Van Huynh, Duc-Vu Nguyen외 3명|arXiv (Cornell University)|2019. 11. 09.

Hate Speech and Cyberbullying Detection참고 문헌 15인용 수 32

한 줄 요약

본 논문은 베트남어 혐오 발언 탐지를 위한 Bi-GRU-LSTM-CNN 분류기를 구현하여 공개 테스트에서 F1 70.576%를 달성하고 5위에 랭크했다.

ABSTRACT

In recent years, Hate Speech Detection has become one of the interesting fields in natural language processing or computational linguistics. In this paper, we present the description of our system to solve this problem at the VLSP shared task 2019: Hate Speech Detection on Social Networks with the corpus which contains 20,345 human-labeled comments/posts for training and 5,086 for public-testing. We implement a deep learning method based on the Bi-GRU-LSTM-CNN classifier into this task. Our result in this task is 70.576% of F1-score, ranking the 5th of performance on public-test set.

연구 동기 및 목표

• 저자들은 베트남어 소셜 미디어에서 혐오 발언 탐지를 저자원 NLP 과제로서 동기를 부여한다.
• HATE, OFFENSIVE, CLEAN의 세 라벨 분류에 대해 신경망 아키텍처를 개발하고 비교한다.
• VLSP 2019 데이터에서 Bi-GRU-LSTM-CNN 모델의 효과를 입증한다.

제안 방법

• PyVi를 사용한 소문자화, 공백/구두점 제거, 숫자 대체, 토큰화 등 텍스트 전처리.
• FastText 임베딩을 사용하여 문장을 220x300 워드 임베딩 행렬로 표현한다.
• 특징 추출을 위해 드롭아웃이 있는 1D CNN을 적용하고 그 뒤에 Bi-LSTM 및 Bi-GRU 블록을 따른다.
• 세 라벨(HATE, OFFENSIVE, CLEAN)을 가진 분류기를 학습하고 F1-스코어로 평가한다.
• 최고 모델을 식별하기 위해 TextCNN, Bi-GRU-CNN, Bi-GRU-LSTM-CNN 아키텍처를 비교한다.

실험 결과

연구 질문

• RQ1 다른 신경망 아키텍처와 비교했을 때 Bi-GRU-LSTM-CNN의 베트남어 혐오 발언 탐지 효과는 어느 정도인가?
• RQ2 다양한 신경 구성요소(CNN, Bi-LSTM, Bi-GRU)가 VLSP 2019 데이터의 분류 성능에 어떻게 기여하는가?
• RQ3 세 라벨 분류에서 VLSP 2019 공개 테스트에서 달성 가능한 F1-score는 어디까지인가?
• RQ4 공개 테스트와 비공개 테스트에서 모델의 순위 차이는 어떠한가?

주요 결과

• Bi-GRU-LSTM-CNN은 테스트된 모델들 중 최상의 F1-점수를 보이며 70.576%를 기록한다.
• TextCNN과 Bi-GRU-CNN은 각각 56.512%와 69.293%의 F1을 달성한다.
• 공개 테스트에서 Bi-GRU-LSTM-CNN은 상위 5개 결과 중 5위를 차지했다.
• 해당 접근 방식은 공개 테스트에서 일반적으로 다른 팀들과 비슷하게 작동하지만 비공개 테스트에서는 덜 그렇다.
• 사용된 데이터셋은 세 라벨(HATE, OFFENSIVE, CLEAN)과 함께 20,345개의 학습 샘플과 5,086개의 테스트 샘플을 포함한다.