[논문 리뷰] EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks

Jason Wei, Kai Zou|arXiv (Cornell University)|2019. 01. 31.

Topic Modeling참고 문헌 33인용 수 197

한 줄 요약

본 논문은 외부 모델이 필요 없는 간단한 네 가지 텍스트 증강 연산(동의어 대체, 무작위 삽입, 무작위 교환, 무작위 삭제)을 도입하여, 특히 작은 데이터셋에서 텍스트 분류 성능을 개선한다.

ABSTRACT

We present EDA: easy data augmentation techniques for boosting performance on text classification tasks. EDA consists of four simple but powerful operations: synonym replacement, random insertion, random swap, and random deletion. On five text classification tasks, we show that EDA improves performance for both convolutional and recurrent neural networks. EDA demonstrates particularly strong results for smaller datasets; on average, across five datasets, training with EDA while using only 50% of the available training set achieved the same accuracy as normal training with all available data. We also performed extensive ablation studies and suggest parameters for practical use.

연구 동기 및 목표

• NLP에서 단순하고 보편적인 데이터 증강의 필요성을 동기화한다.
• 레이블 무결성을 보존하는 네 가지 경량 증강 연산을 제안한다.
• 다양한 데이터셋과 모델 아키텍처에서 EDA를 평가하여 강건성과 활용성을 평가한다.
• 실제 작업에서 EDA를 사용할 때의 실용적 파라미터 설정 및 가이드라인을 식별한다.

제안 방법

• 동의어 대체, 무작위 삽입, 무작위 교환, 무작위 삭제의 네 가지 증강 연산을 정의한다.
• 문장 길이에 비례하여 편집 수 n의 양을 조정하고 매개변수 alpha를 사용; 삭제의 p를 alpha로 설정한다.
• 원래 문장당 n_aug 개의 보강 문장을 생성한다.
• CNN 및 RNN 아키텍처와 여러 시드를 사용하여 다섯 개의 벤치마크 데이터셋에서 평가한다.
• 각 연산의 기여를 평가하기 위한 제거 실험(ablation)을 수행한다.
• 결과를 바탕으로 실용적인 사용 권장사항을 제공한다.

실험 결과

연구 질문

• RQ1 간단한 텍스트 편집 증강이 여러 데이터셋과 모델에서 텍스트 분류 성능을 개선하는가?
• RQ2 네 가지 증강 연산 중 어떤 것이 성능 향상에 가장 크게 기여하며 어떤 조건에서 그렇는가?
• RQ3 증강 수준과 보강 샘플의 수가 특히 작은 데이터셋과 큰 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ4 증강된 문장이 잠재 공간 분석으로 볼 때 원래 레이블을 대체로 보존하는가?

주요 결과

Training Set Size	Model	500	2,000	5,000	full set
500	RNN	75.3	83.7	86.1	87.4
500	+EDA	79.1	84.4	87.3	88.3
500	CNN	78.6	85.6	87.7	88.3
500	+EDA	80.7	86.4	88.3	88.8
Average	Average	76.9	84.6	86.9	87.8
Average	+EDA	79.9	85.4	87.8	88.6

• EDA는 CNN과 RNN 모델 모두에서 다섯 데이터셋에 걸쳐 정확도를 향상시킨다.
• 전체 데이터셋에서 평균 상승은 0.8%, 가장 작은 하위집합(N_train=500)에서 3.0%의 상승이다.
• 네 가지 연산 모두 이득에 기여하며, alpha를 약 0.1로 설정하면 최적의 포인트가 나타난다.
• 증강 샘플의 수(n_aug)가 작은 데이터셋에서 더 큰 도움이 되지만, 큰 데이터셋에서는 수익이 감소하는 경향이 있다.
• 증강된 문장은 t-SNE 시각화의 잠재 공간 클러스터링으로 레이블을 크게 보존하는 것이 확인된다.
• EDA는 학습 데이터가 제한될 때 가장 유익하며, 절반의 데이터로도 유사한 성능을 달성할 수 있다.