[논문 리뷰] Enhanced Offensive Language Detection Through Data Augmentation

Ruibo Liu, Guangxuan Xu외 1명|arXiv (Cornell University)|2020. 12. 05.

Hate Speech and Cyberbullying Detection참고 문헌 9인용 수 5

한 줄 요약

이 논문은 GPT-2 기반의 데이터 증강 방법인 Dager를 제안하며, 클래스별 어휘 특징을 활용하여 불균형 데이터셋에서의 분류 성능을 향상시키기 위해 합성된 공격적 언어 텍스트 트윗을 생성한다. ICWSM-2020 데이터셋의 1%만으로 훈련할 때 F1 점수를 11% 향상시키며, 다양한 분류기에서 일관된 성능 향상과 높은 레이블 유지 능력을 보였다.

ABSTRACT

Detecting offensive language on social media is an important task. The ICWSM-2020 Data Challenge Task 2 is aimed at identifying offensive content using a crowd-sourced dataset containing 100k labelled tweets. The dataset, however, suffers from class imbalance, where certain labels are extremely rare compared with other classes (e.g, the hateful class is only 5% of the data). In this work, we present Dager (Data Augmenter), a generation-based data augmentation method, that improves the performance of classification on imbalanced and low-resource data such as the offensive language dataset. Dager extracts the lexical features of a given class, and uses these features to guide the generation of a conditional generator built on GPT-2. The generated text can then be added to the training set as augmentation data. We show that applying Dager can increase the F1 score of the data challenge by 11% when we use 1% of the whole dataset for training (using BERT for classification); moreover, the generated data also preserves the original labels very well. We test Dager on four different classifiers (BERT, CNN, Bi-LSTM with attention, and Transformer), observing universal improvement on the detection, indicating our method is effective and classifier-agnostic.

연구 동기 및 목표

• 희귀 레이블(예: ' odious' 발언)에 대해 특히 고려된 불균형한 공격적 언어 탐지 문제를 해결하기 위해.
• 외부 데이터셋이나 보조 훈련을 요구하지 않고 저자원 및 불균형 텍스트 분류를 향상시키기 위해.
• 소수 클래스에서의 모델 일반화 능력을 향상시키기 위해 분류기 의존성이 없는 데이터 증강 방법을 개발하기 위해.
• 대규모 언어 모델이 하류 NLP 작업을 위한 고품질, 레이블 유지형 합성 데이터를 효과적으로 생성할 수 있는지 평가하기 위해.

제안 방법

• Dager는 특정 공격적 언어 레이블에 조건부로 생성하는 GPT-2 기반의 조건부 생성기를 사용한다.
• 각 타겟 클래스(예: 'hateful')에서 어휘 특징을 추출하여 생성 과정을 안내한다.
• 조건부 생성은 베이지안 추론을 통해 구현된다: P(xₜ|c) ∝ P(xₜ)P(c|xₜ), 여기서 c는 레이블이고 xₜ는 단계 t의 토큰이다.
• 자기회귀적 생성 과정에서 레이블 조건 신호를 통합하여 원하는 레이블 쪽으로 생성을 유도한다.
• 생성된 샘플을 훈련 세트에 추가하여 클래스 분포를 균형 잡고 모델 일반화 능력을 향상시킨다.
• 이 방법은 BERT, CNN, Bi-LSTM with attention, Transformer의 네 가지 분류기 적용하여 광범위한 적용 가능성을 입증했다.

실험 결과

연구 질문

• RQ1 GPT-2 기반의 데이터 증강이 저자원 및 불균형 데이터셋에서 공격적 언어 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 생성된 합성 데이터가 원래 레이블을 높은 정확도로 유지하는가?
• RQ3 이 데이터 증강 방법은 다양한 신경망 아키텍처에서 효과적이고 강건한가?
• RQ4 합성 샘플로 증강했을 때, 원본 훈련 데이터의 양이 변할수록 성능은 어떻게 변화하는가?

주요 결과

• ICWSM-2020 데이터셋의 1%만으로 훈련할 때 Dager는 기준 모델 대비 F1 점수를 11%포인트 향상시켰다.
• 훈련 데이터의 70%가 합성 데이터여도 F1 점수는 오직 12.5% 감소하여 강력한 레이블 유지 능력을 보였다.
• BERT, CNN, Bi-LSTM with attention, Transformer의 네 가지 테스트 분류기 모두에서 성능 향상을 보였으며, 이는 분류기 의존성이 없는 성질을 확인했다.
• 낮은 데이터 환경(예: 훈련 데이터의 20%)에서 가장 높은 상대적 향상이 관찰되었으며, 이 경우 Dager는 F1 점수를 최대 7%포인트 향상시켰다.
• 생성된 텍스트는 높은 의미적 및 문법적 다양성을 유지하며, 단순어치 교체 기반 증강 기법보다 우수한 성능을 보였다.
• Dager를 사용해 훈련 세트를 전체 데이터셋 크기의 80%로 증강했을 때 F1 점수는 0.8157에 도달했으며, 전체 원본 세트의 0.8139와 거의 유사한 성능을 기록했다.