[논문 리뷰] Offensive Language Analysis using Deep Learning Architecture

Ryan Ong|arXiv (Cornell University)|2019. 03. 12.

Hate Speech and Cyberbullying Detection참고 문헌 4인용 수 5

한 줄 요약

이 논문은 SemEval-2019 Task 6에서 다른 CNN-RNN 구성보다 우수한 성능을 보인 BiLSTM-CNN 딥러닝 아키텍처를 제안한다. 저자들은 RNN 레이어를 CNN 레이어보다 앞서 배치할 경우 매크로 F1 점수가 크게 향상됨을 발견하였으며, CNN 레이어는 순차적 정보 손실로 인해 종종 성능을 떨어뜨리는 등 최소한의 이점을 제공함을 확인하였다. 최적의 모델은 서브태스크 A에서 0.75의 매크로 F1, 서브태스크 B에서 0.65, 서브태스크 C에서 0.46의 매크로 F1을 기록하였다.

ABSTRACT

SemEval-2019 Task 6 (Zampieri et al., 2019b) requires us to identify and categorise offensive language in social media. In this paper we will describe the process we took to tackle this challenge. Our process is heavily inspired by Sosa (2017) where he proposed CNN-LSTM and LSTM-CNN models to conduct twitter sentiment analysis. We decided to follow his approach as well as further his work by testing out different variations of RNN models with CNN. Specifically, we have divided the challenge into two parts: data processing and sampling and choosing the optimal deep learning architecture. In preprocessing, we experimented with two techniques, SMOTE and Class Weights to counter the imbalance between classes. Once we are happy with the quality of our input data, we proceed to choosing the optimal deep learning architecture for this task. Given the quality and quantity of data we have been given, we found that the addition of CNN layer provides very little to no additional improvement to our model's performance and sometimes even lead to a decrease in our F1-score. In the end, the deep learning architecture that gives us the highest macro F1-score is a simple BiLSTM-CNN.

연구 동기 및 목표

• 딥러닝을 사용하여 소셜 미디어 텍스트 내 공격적 언어를 식별하고 분류하기.
• SMOTE와 클래스 가중치를 활용하여 공격적 언어 데이터셋의 클래스 불균형 문제를 해결하기.
• RNN-CNN 레이어 순서와 구성 요소의 효과성을 중심으로 공격적 언어 탐지에 최적의 딥러닝 아키텍처를 규명하기.
• 사전 훈련된 단어 임베딩과 하이퍼파라미터 튜닝이 모델 성능에 미치는 영향 평가하기.

제안 방법

• 분류를 위한 단어 임베딩, 스페이셜 드롭아웃, 히든 레이어를 포함한 BiLSTM-CNN 아키텍처 사용.
• URL 제거, @USER 토큰 제거, 약어 전개, 특수 문자 처리를 포함한 다단계 전처리 파이프라인 적용.
• 세 가지 사전 훈련된 단어 임베딩을 실험: GloVe Twitter (100d, 200d) 및 GloVe Common Crawl (300d).
• 클래스 불균형으로 인해 매크로 F1 점수를 주요 평가 지표로 사용.
• 검증 매크로 F1 점수 기반 조기 정지와 함께 5겹 교차검증을 실시하며, 20%의 테스트 세트를 별도로 확보.
• 에포크 수, 스페이셜 드롭아웃 비율, 임베딩 유형에 대한 수동 하이퍼파라미터 튜닝 수행.

실험 결과

연구 질문

• RQ1 RNN 및 CNN 레이어의 순서가 공격적 언어 분류 성능에 유의미한 영향을 미치는가?
• RQ2 공격적 언어 탐지 성능 향상에 CNN 레이어를 추가할 경우 유의미한 성능 향상이 이루어지는가, 아니면 순차적 정보 손실로 인해 성능이 떨어지는가?
• RQ3 SMOTE와 클래스 가중치는 서브태스크 A, B, C 전반에 걸쳐 클래스 불균형 문제를 얼마나 효과적으로 완화하는가?
• RQ4 매크로 F1 점수를 최대화하기 위해 최적의 사전 훈련된 단어 임베딩과 하이퍼파라미터 조합은 무엇인가?

주요 결과

• BiLSTM-CNN 아키텍처가 모든 서브태스크에서 가장 높은 매크로 F1 점수를 기록하였으며, 다른 모든 모델 변형보다 뛰어난 성능을 보였다.
• BiLSTM를 CNN 이전에 위치시킨 레이어 순서가 CNN를 먼저 배치한 경우보다 유의미하게 높은 성능을 보였으며, F1 점수에서 0.07~0.09의 향상 효과를 보였다.
• CNN 레이어 추가는 최소한의 이점을 제공하거나 오히려 성능 저하를 초래하였으며, 이는 텍스트의 순차적 맥락 정보 손실로 인한 것으로 보인다.
• 최적의 학습 에포크 수는 5였으며, 이 이상으로 늘어나면 성능이 정체되거나 감소하였다.
• 스페이셜 드롭아웃 비율 20%가 최적의 성능을 내었지만, 드롭아웃을 완전히 제거해도 영향이 거의 없었으며, 이는 현재 아키텍처에서 과적합이 낮다는 것을 시사한다.
• 사전 훈련된 단어 임베딩, 특히 300d GloVe Common Crawl는 랜덤 또는 임베딩 없음 대비 성능 향상을 보였지만, BiGRU-CNN에서는 결과에 다소 차이가 있었다.