[논문 리뷰] Is More Data Better? Re-thinking the Importance of Efficiency in Abusive Language Detection with Transformers-Based Active Learning

Hannah Rose Kirk, Bertie Vidgen외 1명|arXiv (Cornell University)|2022. 09. 21.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

이 논문은 트랜스포머 기반 주도 학습이 악성 언어 탐지에서 데이터 효율성을 크게 향상시킴을 보여주며, 훨씬 적은 레이블이 필요한 예측 성능을 달성함으로써 전체 데이터셋으로 훈련된 완전한 지도 학습 모델을 뛰어넘기도 한다. 불확실성 샘플링(LeastConfidence)과 히우리스틱 기반 시드 선택을 통해 이 방법은 레이블링 필요성을 최대 98%까지 줄이며, 특히 저도의, 불균형된 환경에서 성능을 유지하거나 향상시킨다.

ABSTRACT

Annotating abusive language is expensive, logistically complex and creates a risk of psychological harm. However, most machine learning research has prioritized maximizing effectiveness (i.e., F1 or accuracy score) rather than data efficiency (i.e., minimizing the amount of data that is annotated). In this paper, we use simulated experiments over two datasets at varying percentages of abuse to demonstrate that transformers-based active learning is a promising approach to substantially raise efficiency whilst still maintaining high effectiveness, especially when abusive content is a smaller percentage of the dataset. This approach requires a fraction of labeled data to reach performance equivalent to training over the full dataset.

연구 동기 및 목표

• 악성 언어를 레이블링하는 데 높은 비용과 정서적 위험이 존재하므로, 모델 훈련의 데이터 효율성을 향상시키는 데 초점을 맞춘다.
• 더 많은 레이블이 있는 데이터가 항상 성능을 향상시키는지 여부를 조사하며, 적은 예시로도 더 나은 결과를 낼 수 있는 효율적인 주도 학습의 가능성을 탐색한다.
• 모델 아키텍처(트랜스포머 대 기존 모델)와 클래스 불균형이 주도 학습의 효율성과 효과성에 미치는 영향을 평가한다.
• BERT 기반 모델을 사용한 주도 학습이 전체 데이터셋의 3%만으로도 완전한 지도 학습 모델을 뛰어넘는 성능을 낼 수 있음을 입증한다.
• 주도 학습이 저도의, 현실과 유사한 불균형 데이터 분포에서 가장 유익하다는 증거를 제공한다.

제안 방법

• 다양한 악성 언어 비율(5%, 10%, 50%)에서 기존의 두 악성 언어 데이터셋(wiki 및 tweets)을 사용해 시뮬레이션된 주도 학습 실험을 수행한다.
• 네 단계로 구성된 주도 학습 루프를 구현: 초기 시드 선택, 유informative한 샘플을 선택하는 질의 전략, 인간 레이블링(시뮬레이션), 모델 재학습.
• 다양한 질의 전략을 비교: LeastConfidence(불확실성), GreedyCoreSet(다양성), EmbeddingKMeans(임베딩 기반 클러스터링).
• 모델 아키텍처의 영향을 평가하기 위해 기존의 SVM과 BERT 기반 분류기(dBERT)를 모두 사용한다.
• 히우리스틱 기반 및 무작위 시드 선택을 적용해 초기화의 영향을 평가하며, 특히 불균형 데이터에서의 영향을 분석한다.
• F1 점수와 N90(최대 F1 점수의 90%에 도달하기 위한 레이블 예측 수)를 측정하여 실험 간 비교가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 RQ1.1: 트랜스포머 기반 주도 학습에서 모델 사전 훈련과 아키텍처는 데이터 효율성과 효과성에 어떤 영향을 미치는가?
• RQ2 RQ1.2: 클래스 불균형은 주도 학습 전략의 효율성과 효과성에 어떤 영향을 미치는가?
• RQ3 RQ1.3: 트랜스포머 기반 주도 학습이 훨씬 적은 레이블 예측을 사용하면서도 F1 점수 측면에서 완전한 지도 학습을 뛰어넘을 수 있는가?
• RQ4 RQ1.4: 다양한 질의 전략(예: LeastConfidence, GreedyCoreSet, EmbeddingKMeans)은 데이터 효율성과 성능 측면에서 어떻게 비교되는가?
• RQ5 RQ1.5: 주도 학습 모델의 성능은 다양한 데이터셋과 불균형 수준 간에서 얼마나 일반화 가능한가?

주요 결과

• 악성 언어 비율이 5%일 때, 전체 데이터셋의 3%인 600개 예측만으로도 BERT 기반 주도 학습 모델이 전체 20,000개 예측 데이터셋으로 훈련된 완전한 지도 학습 모델보다 F1 점수에서 5%포인트 높은 성능을 기록했다.
• LeastConfidence 질의 전략은 무작위 샘플링과 다른 다양성 기반 전략보다 데이터 효율성이 뛰어나며, 최고 성능에 도달하기 위해 필요한 레이블 예측 수가 적었다.
• 작은 시드 크기(20개 예측)와 배치 크기(50개)는 더 큰 시드(200개)나 배치(100개, 500개)보다 유의미하게 높은 데이터 효율성을 보였으며, wiki50에서 F1 점수 최대 55%포인트 향상이 관찰되었다.
• 불균형 데이터셋에서는 히우리스틱 기반 시드 선택이 필수적이었으며, 무작위 시드 선택은 wiki10에서 33%의 실험, wiki5에서는 100%의 실험에서 악성 예측을 포함하지 못했다. 이는 정보 기반 초기화의 필요성을 시사한다.
• 악성 언어 비율이 낮을수록 주도 학습과 무작위 샘플링 간의 성능 격차가 커지며, 이는 주도 학습이 현실적이고 불균형적인 환경에서 가장 가치가 있다는 것을 보여준다.
• 다양한 데이터셋 간 일반화 성능을 분석한 결과, tweets에서 훈련된 모델이 wiki로의 일반화가 잘 되었으며, 특히 저도의 조건에서 뚜렷한 성능을 보였다. 이는 주도 학습 접근법의 강건성을 시사한다.