[논문 리뷰] Bidirectional Recurrent Models for Offensive Tweet Classification

Aleix Cambray, Norbert Podsadowski|arXiv (Cornell University)|2019. 03. 19.

Hate Speech and Cyberbullying Detection참고 문헌 3인용 수 9

한 줄 요약

이 논문은 공격적인 트윗을 세 가지 하위 작업으로 분류하기 위한 이방향 순환 신경망 아키텍처—주로 이방향 LSTMs와 GRUs—를 제안한다: 공격적인/비공격적인, 대상 지정된/비대상 지정된, 대상 유형(개인/기관/기타). CNN과 분할-병합 아키텍처를 포함한 더 복잡한 모델을 탐색했음에도 불구하고, 가장 단순한 이방향 LSTM 모델이 가장 뛰어난 성능을 보였으며, 이는 이 데이터셋에서는 모델의 복잡성이 반드시 성능 향상으로 이어지지 않음을 시사한다.

ABSTRACT

In this paper we propose four deep recurrent architectures to tackle the task of offensive tweet detection as well as further classification into targeting and subject of said targeting. Our architectures are based on LSTMs and GRUs, we present a simple bidirectional LSTM as a baseline system and then further increase the complexity of the models by adding convolutional layers and implementing a split-process-merge architecture with LSTM and GRU as processors. Multiple pre-processing techniques were also investigated. The validation F1-score results from each model are presented for the three subtasks as well as the final F1-score performance on the private competition test set. It was found that model complexity did not necessarily yield better results. Our best-performing model was also the simplest, a bidirectional LSTM; closely followed by a two-branch bidirectional LSTM and GRU architecture.

연구 동기 및 목표

• 소셜 미디어, 특히 트윗에서 공격적 언어 탐지 및 분류를 위한 딥 러닝 모델을 개발하는 것.
• 공격적 트윗 분류 작업에서 모델 복잡성 증가가 성능 향상에 기여하는지 여부를 조사하는 것.
• 광범위한 텍스트 전처리가 모델의 일반화 능력과 성능에 미치는 영향을 탐색하는 것.
• 가중치 손실 함수를 통해 공격적 언어 데이터셋의 클래스 불균형 문제를 해결하는 것.
• 다중 수준의 공격적 콘텐츠 분류에 대해 이방향 LSTM, 이방향 GRU, 하이브리드 모델을 포함한 다양한 RNN 아키텍처의 효과를 평가하는 것.

제안 방법

• 맥락적 트윗 의미를 포착하기 위해 순차적 모델링 구성 요소로 이방향 LSTM과 GRU를 사용하였다.
• 이중 순차 처리를 병렬로 수행하고 표현을 병합하기 위해 이중 순환 신경망과 GRU 브랜치를 조합한 분할-처리-병합 아키텍처를 설계하였다.
• 단어 임베딩에서 국소 n-그램 특징을 추출하기 위해 RNN 이전 또는 이후에 컨볼루션 레이어(CNN)를 통합하였다.
• 광범위한 텍스트 전처리를 적용: URL, 사용자 명, HTML 엔티티, 해시태그,标 punctuations, 숫자, 정지어 제거; 소문자 변환; 비-ASCII 문자 처리; 애포스트로피 확장; 단어 길이 정규화.
• 편집 거리 ≤2 범위 내에서 빠른 단어 분할 및 철자 교정을 위해 SymSpell을 사용하였다.
• 특히 Task B와 C에서의 클래스 불균형 문제를 완화하기 위해 클래스 가중치가 부여된 교차 엔트로피 손실을 적용하였다.

실험 결과

연구 질문

• RQ1 CNN이나 하이브리드 아키텍처를 추가함으로써 모델 복잡성을 증가시키면 공격적 트윗 분류 성능이 향상되는가?
• RQ2 이 특정 NLP 작업에서 이방향 RNN(LSTM/GRU)은 더 단순하거나 더 복잡한 아키텍처에 비해 얼마나 효과적인가?
• RQ3 공격적 언어 탐지에 있어 자원이 제한된 환경에서 공격적인 텍스트 전처리가 모델 성능 향상에 얼마나 기여하는가?
• RQ4 클래스 불균형은 모델 학습 및 평가에 어떤 영향을 미치며, 이를 효과적으로 완화할 수 있는가?
• RQ5 이러한 맥락에서 단순한 모델인 독립형 이방향 LSTM이 더 복잡한 모델을 능가할 수 있는가?

주요 결과

• 가장 단순한 모델인 독립형 이방향 LSTM가 Task A(공격적인/비공격적인)에서 검증 F1 점수 0.7382를 기록하여 더 복잡한 아키텍처를 능가했다.
• 이중 브랜치 이방향 LSTM과 GRU 모델(biGRU ⊕ biLSTM)이 Task A에서 검증 F1 점수 0.7285로 두 번째로 높은 성능을 기록했다.
• 모델 복잡성은 일관되게 성능 향상으로 이어지지 않았으며, 예를 들어 CNN-biLSTM 모델은 Task A에서 F1 점수 0.6346을 기록하여 기준선인 biLSTM보다 유의미하게 낮았다.
• 비공개 테스트 세트에서 가장 우수한 성능을 보인 biLSTM 모델은 각각 Task A에서 F1 점수 0.77, Task B에서 0.64, Task C에서 0.52를 기록하여 데이터 제약 조건에도 불구하고 강한 일반화 능력을 보였다.
• 클래스 불균형은 특히 Task B와 C에서 모델 성능에 심각한 영향을 미쳤지만, 클래스 가중치 손실 함수를 적용함으로써 다수 클래스에 대한 과도한 예측을 방지하여 완화되었다.
• 학습 중 F1 점수는 높은 불안정성을 보였으며, 자주 진동하고 정확도나 손실과의 상관관계도 잘 없어, 모델 수렴 및 하이퍼파라미터 튜닝에 어려움이 있음을 시사했다.