[논문 리뷰] An Exploration of State-of-the-art Methods for Offensive Language Detection

Harrison Uglow, Martin Zlocha외 1명|arXiv (Cornell University)|2019. 03. 15.

Hate Speech and Cyberbullying Detection참고 문헌 9인용 수 7

한 줄 요약

이 논문은 OLID 데이터셋에서 공격적 언어 탐지에 대한 최신 기법들을 평가하며, 전통적인 특징 공학 기법과 딥러닝 모델을 비교한다. BERT와 미세조정된 FastText가 CNN과 LSTMs를 능가하는 것으로 나타났으며, BERT는 Task A(공격적 언어 탐지)에서 테스트 세트에서 매크로 F1 스코어 0.786을 기록하여 가장 높은 성능을 보였다. 또한 단순한 특징 융합 방법 역시 뛰어난 성능을 보였다.

ABSTRACT

We provide a comprehensive investigation of different custom and off-the-shelf architectures as well as different approaches to generating feature vectors for offensive language detection. We also show that these approaches work well on small and noisy datasets such as on the Offensive Language Identification Dataset (OLID), so it should be possible to use them for other applications.

연구 동기 및 목표

• 작고 노이즈가 많은 데이터셋인 OLID와 같은 환경에서 다양한 특징 공학 및 딥러닝 접근법의 효과성을 평가하기 위해.
• 예를 들어 랜덤 포레스트, 로지스틱 회귀와 같은 전통적 기계학습 모델과 CNN, LSTM, BERT, FastText와 같은 엔드 투 엔드 딥러닝 아키텍처를 비교하기 위해.
• 사전 훈련된 단어 임베딩(Word2Vec, FastText)이 트윗 수준의 공격적 언어 탐지에 잘 일반화되는지 조사하기 위해.
• 초파rameter 튜닝과 모델 아키텍처가 세부 과제(공격적 분류, 타겟팅 여부 분류, 타겟 식별) 전반에서 성능에 미치는 영향을 규명하기 위해.
• 자원이 제한되고 노이즈가 많은 환경에서 공격적 언어 탐지에 가장 강력하고 일반화 가능한 모델을 특정하기 위해.

제안 방법

• 공격적 언어 탐지의 세 가지 세부 과제를 포함한 OLID 데이터셋을 사용함: 공격적 분류(과제 A), 타겟팅 여부 분류(과제 B), 타겟 식별(개인 대 집단)(과제 C).
• 대문자 정규화, 약어 전개, 알파벳과 숫자 외의 문자 제거(구두점은 제외), 사용자명/URL을 자리표시자로 대체함으로써 트윗을 전처리함.
• 공격적, 긍정적, 부정적 단어의 수와 트윗 길이에 따라 정규화된 버전을 기반으로 간단한 특징 벡터를 생성함.
• 학습 데이터에서 Word2Vec 임베딩을 훈련하고 문장 수준의 벡터를 생성하기 위해 평균화, 최대 풀링 등 다양한 집계 방법을 실험함.
• 가변 임베딩을 사용하며, 필터 크기가 3, 4, 5인 3개의 병렬 컨볼루션 레이어, 최대 풀링, 드롭아웃, 소프트맥스 출력 레이어를 포함한 CNN 모델을 구현함.
• CNN와 유사한 아키텍처를 가졌지만, 컨볼루션 후 최대 풀링 대신 양방향 LSTM 레이어를 사용하고, 검증 F1 스코어 기반 조기 정지 기법을 적용한 LSTM 모델을 구축함.
• 랜덤 서치를 통해 초파rameter(학습률, 에포크 수, n-gram 크기, 벡터 차원 수)를 조정하며 FastText와 BERT 모델을 미세조정함. 도메인 불일치 문제를 피하기 위해 사전 훈련된 벡터를 사용하지 않음.
• 검증 및 테스트 세트에서 매크로 F1 스코어를 사용해 모델을 평가하였으며, 검증 성능 기반 조기 정지 및 모델 선택을 실시함.

실험 결과

연구 질문

• RQ1 작고 노이즈가 많은 데이터셋에서 수작업으로 만든 특징 벡터(예: 단어 수)와 학습된 임베딩(예: Word2Vec) 간의 성능 비교는 어떻게 되는가?
• RQ2 공학된 특징을 사용하는 전통적 기계학습 모델(예: 랜덤 포레스트, 로지스틱 회귀)이 CNN과 LSTM과 같은 엔드 투 엔드 딥러닝 모델보다 얼마나 뛰어나게 성능을 내는가?
• RQ3 도메인 이탈이 존재하는 상황에서 위키피디아에서 얻은 사전 훈련된 단어 임베딩이 소셜 미디어 텍스트의 공격적 언어 탐지에 얼마나 효과적인가?
• RQ4 세 가지 공격적 언어 탐지 세부 과제 전반에서 어떤 딥러닝 아키텍처(CNN, LSTM, FastText, BERT)가 테스트 세트에 가장 잘 일반화되는가?
• RQ5 검증 데이터에서 광범위한 초파라미터 튜닝이 과적합을 유도하는가? 특히 빠르게 훈련되는 FastText와 같은 모델에 대해선 어떻게 되는가?

주요 결과

• BERT는 Task A(공격적 언어 탐지)에서 테스트 세트에서 매크로 F1 스코어 0.786을 기록하여 모든 다른 모델보다 높은 성능을 보였다.
• FastText는 Task B(타겟팅 여부 분류)에서 매크로 F1 0.687, Task C(타겟 식별)에서 매크로 F1 0.561을 기록하여 타겟팅 공격 탐지에서 뛰어난 성능을 보였다.
• CNN 모델은 Task A에서 테스트 F1 0.735, Task B에서 0.470, Task C에서 0.457를 기록하여 중간 정도의 성능를 보였지만, Task B에서는 일반화 실패를 보였다.
• LSTM 모델은 CNN보다 성능이 열 劣하였으며, Task A에서는 테스트 F1 0.753, Task B에서는 0.330에 머물러 타겟팅 공격 하위 과제에서 학습이 잘 되지 않았음을 시사했다.
• 간단한 특징(단어 수)과 Word2Vec 임베딩을 융합하면 개별적으로 사용할 경우보다 성능 향상이 있었으며, 최고의 결과(F1 0.668)는 StackingCVClassifier에서 기록됨.
• FastText는 검증 세트에서 테스트 세트보다 성능이 높았음(F1 0.785 대 0.707, Task A), 이는 검증 세트에서의 광범위한 초파라미터 튜닝으로 인한 과적합을 시사함.