[논문 리뷰] Low Resource Text Classification with ULMFit and Backtranslation

Sam Shleifer|arXiv (Cornell University)|2019. 03. 21.

Topic Modeling참고 문헌 10인용 수 43

한 줄 요약

본 논문은 백트랜스레이션(backtranslation)이 IMDB의 저자원 설정에서 ULMFit 기반 텍스트 분류를 크게 개선하는 반면 토큰 섭동(token perturbations)은 그렇지 못하다는 것을 보인다; 전체 데이터에서는 증강의 이점이 제한적이지만 테스트-시점 증강(test-time augmentation)과 앙상블이 소폭 이점을 제공한다.

ABSTRACT

In computer vision, virtually every state-of-the-art deep learning system is trained with data augmentation. In text classification, however, data augmentation is less widely practiced because it must be performed before training and risks introducing label noise. We augment the IMDB movie reviews dataset with examples generated by two families of techniques: random token perturbations introduced by Wei and Zou [2019] and backtranslation -- translating to a second language then back to English. In low resource environments, backtranslation generates significant improvement on top of the state of-the-art ULMFit model. A ULMFit model pretrained on wikitext103 and then fine-tuned on only 50 IMDB examples and 500 synthetic examples generated by backtranslation achieves 80.6% accuracy, an 8.1% improvement over the augmentation-free baseline with only 9 minutes of additional training time. Random token perturbations do not yield any improvements but incur equivalent computational cost. The benefits of training with backtranslated examples decreases with the size of the available training data. On the full dataset, neither augmentation technique improves upon ULMFit's state of the art performance. We address this by using backtranslations as a form of test time augmentation as well as ensembling ULMFit with other models, and achieve small improvements.

연구 동기 및 목표

• 낮은 라벨 데이터 조건에서 강인한 텍스트 분류를 동기화한다.
• 저자원 환경에서 NLP를 위한 데이터 증강 전략(백트랜스레이션 및 토큰 섭동)의 평가.
• 사전 학습된 언어 모델(예: ULMFit)과의 백트랜스레이션 상호 작용 조사.
• 전체 데이터에서도 증강 이득을 살리기 위한 테스트 시 증강 및 앙상블 탐구.

제안 방법

• ULMFit 아키텍처를 사용하되 세 단계 학습(위키텍스트-103에서의 사전 학습, IMDB에서의 도메인 적합화, 분류기 미세 조정).
• 다양한 언어에 걸친 백트랜스레이션과 Wei and Zou(2019)에 따른 토큰 섭동으로 학습 데이터를 증강.
• 저자원 설정에서 서로 다른 학습 데이터 크기(예: 50대 1000 예시)에서 증강 효과를 비교.
• 백트랜스레이션을 테스트-타임 증강(TTA)로 사용하고 다른 모델과의 앙상블 실험.
• 선택적으로 가상적 적대적 학습(VAT)과 그 ablations에서의 영향 논의.
• 전체 데이터에서 재현된 결과와 원래 공개된 메트릭 비교 보고.

실험 결과

연구 질문

• RQ1 저자원 설정에서 백트랜스레이션이 ULMFit 기반 감정 분류를 개선하는가?
• RQ2 ULMFit을 사용할 때 토큰 섭동 기법이 증강 없이도 이득을 제공하는가?
• RQ3 데이터 크기가 커질수록 증강 이득이 어떻게 변화하며 전체 데이터에서도 지속되는가?
• RQ4 백트랜스레이션을 테스트 시 증강 및 앙상블에 활용하여 전체 데이터에서 추가 개선을 얻을 수 있는가?

주요 결과

• 저자원 설정에서 백트랜스레이션은 증강 없이 ULMFit 대비 상당한 개선을 보이며, 특히 라벨이 매우 적은 예에서 두드러진다.
• 토큰 섭동 방법은 저자원 설정에서 기준선 대비 거의 개선을 제공하지 않는다.
• 데이터 크기가 커지면 증강 이득이 감소하거나 사라진다.
• 전체 데이터에서 백트랜스레이션 예시를 이용한 테스트-타임 증강(TTA)과 앙상블은 소폭의 이익을 준다.
• 사전 학습된 언어 모델의 사전 학습이 증강 이득을 지배하며, 강력한 사전 표현이 있으면 증강 이득은 작다.