[논문 리뷰] Can We Achieve More with Less? Exploring Data Augmentation for Toxic Comment Classification

Chetanya Rastogi, Nikka Mofid외 1명|arXiv (Cornell University)|2020. 07. 02.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

이 논문은 소규모 데이터셋에서 독성 댓글 분류 성능을 향상시키기 위해 데이터 증강 기법—특히 쉬운 데이터 증강(Easy Data Augmentation, EDA)과 백트랜슬레이션—이 효과가 있는지 조사한다. 위키백과 독성 댓글 데이터셋을 사용하여, 로지스틱 회귀나 서포트 벡터 머신(SVM)과 함께 이러한 방법을 적용할 경우 F1 및 리콜 점수가 크게 향상됨을 보여주며, Bi-LSTM는 문장 수준의 의미 구조를 잘 유지할 수 있기 때문에 백트랜슬레이션 단독으로 적용했을 때 가장 큰 성능 향상을 보였다.

ABSTRACT

This paper tackles one of the greatest limitations in Machine Learning: Data Scarcity. Specifically, we explore whether high accuracy classifiers can be built from small datasets, utilizing a combination of data augmentation techniques and machine learning algorithms. In this paper, we experiment with Easy Data Augmentation (EDA) and Backtranslation, as well as with three popular learning algorithms, Logistic Regression, Support Vector Machine (SVM), and Bidirectional Long Short-Term Memory Network (Bi-LSTM). For our experimentation, we utilize the Wikipedia Toxic Comments dataset so that in the process of exploring the benefits of data augmentation, we can develop a model to detect and classify toxic speech in comments to help fight back against cyberbullying and online harassment. Ultimately, we found that data augmentation techniques can be used to significantly boost the performance of classifiers and are an excellent strategy to combat lack of data in NLP problems.

연구 동기 및 목표

• 소규모 레이블링된 데이터셋에서의 데이터 부족 문제를 해결하기 위해 데이터 증강 기법을 평가함으로써 자연어 처리(NLP) 분야에서의 데이터 부족 문제를 해결하고자 한다.
• 사이버불링을 방지하고 레이블러의 부담을 줄이기 위해 저자원 환경에서도 안정적으로 작동하는 독성 댓글 분류기 개발을 목표로 한다.
• 다양한 기계 학습 모델이 다양한 데이터 증강 전략과 어떻게 상호작용하는지 조사하고자 한다.
• 백트랜슬레이션에서 중간 언어의 선택이 모델의 일반화 능력과 성능에 미치는 영향을 분석하고자 한다.
• 증강된 모델의 특성 중요도와 오류 패턴에 대한 해석 가능한 통찰을 제공하고자 한다.

제안 방법

• 특수 문자를 제거하고 철자 오류를 수정하며, 어휘 수를 줄이기 위해 텍스트를 정규화함으로써 위키백과 독성 댓글 데이터셋을 전처리한다.
• 데이터셋을 훈련(소규모 5% 서브셋) 및 테스트 세트로 분할하며, 성능 비교를 위한 오라클로 전체 훈련 세트를 사용한다.
• 동의어 교체, 무작위 삽입, 삭제, 단어 임베딩 기반 동의어 교체를 통해 Easy Data Augmentation(EDA)를 적용한다.
• 댓글을 스페인어, 프랑스어, 히브리어, 독일어 등 네 가지 다양한 언어로 번역한 후 다시 영어로 번역하여 의미적으로 유사하지만 다양한 훈련 예제를 생성함으로써 백트랜슬레이션을 구현한다.
• 기본 모델과 증강된 데이터를 사용해 로지스틱 회귀, SVM, Bi-LSTM 세 가지 모델을 훈련하고 평가하여 성능 향상을 비교한다.
• 특성 중요도 분 析와 오류 사례 연구를 통해 모델의 행동을 해석하고, 맥락이나 다의어로 인한 오분류 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 EDA 및 백트랜슬레이션과 같은 데이터 증강 기법이 소규모 저자원 데이터셋에서 독성 댓글 분류 성능을 크게 향상시킬 수 있는가?
• RQ2 기계 학습 모델의 선택(예: 로지스틱 회귀 대비 Bi-LSTM)이 다양한 데이터 증강 전략의 효과성에 영향을 미치는가?
• RQ3 백트랜슬레이션에서 중간 언어의 선택이 증강된 데이터의 품질과 일반화 능력에 영향을 미치는가?
• RQ4 어느 정도의 데이터 증강이 F1 및 리콜 점수 향상에 기여하며, 어떤 모델이 어떤 증강 방법에서 가장 큰 이점을 얻는가?
• RQ5 증강된 모델에서 주요 오류 원인은 무엇이며, 맥락적 모호성과 단어의 다의어가 분류에 어떤 영향을 미치는가?

주요 결과

• 백트랜슬레이션과 EDA를 병행 적용한 경우 로지스틱 회귀 및 SVM에서 가장 큰 성능 향상을 보였으며, F1 및 리콜 점수가 뚜렷이 향상되었다.
• Bi-LSTM 모델은 백트랜슬레이션 단독으로 적용했을 때 가장 큰 성능 향상을 보였는데, 이는 EDA보다 문장 수준의 의미 구조를 더 잘 유지하기 때문이다.
• 스페인어와 히브리어가 백트랜슬레이션에서 가장 효과적인 중간 언어로 나타났으며, 언어적 다양성과 구어체적 뉘앙스가 일반화 능력에 유용한 기여를 했을 가능성이 높다.
• 모든 언어를 사용한 백트랜슬레이션 후 어휘 크기가 상당히 증가했으며(최대 41,167 토큰), 이는 효과적인 데이터 확장과 다양성 증가를 의미한다.
• 특성 중요도 분 析를 통해 'you'와 'wasted'와 같은 단어가 독성어와 함께 자주 등장하거나 다의어 특성으로 인해 오분류되는 것으로 나타났으며, 이는 맥락 의존적 오류를 시사한다.
• 데이터 증강으로 인한 성능 향상은 로지스틱 회귀나 SVM 같은 표현력이 떨어지는 모델에서 더 두드러졌으며, Bi-LSTM와 같이 표현력이 뛰어난 모델에서는 감소하는 경향을 보였고, 이는 모델 용량과 증강 전략 간의 일치가 중요하다는 것을 시사한다.