[논문 리뷰] Not Enough Data? Deep Learning to the Rescue!

Ateret Anaby-Tavor, Boaz Carmeli외 6명|arXiv (Cornell University)|2019. 11. 08.

Topic Modeling참고 문헌 13인용 수 32

한 줄 요약

LAMBADA는 소량의 라벨링된 텍스트 데이터셋으로 GPT-2 언어 모델을 미세조정하여 라벨이 있는 합성 데이터를 생성하고, 이를 기준 분류기로 필터링한 뒤 재훈련하여 텍스트 분류 정확도를 높인다.

ABSTRACT

Based on recent advances in natural language modeling and those in text generation capabilities, we propose a novel data augmentation method for text classification tasks. We use a powerful pre-trained neural network model to artificially synthesize new labeled data for supervised learning. We mainly focus on cases with scarce labeled data. Our method, referred to as language-model-based data augmentation (LAMBADA), involves fine-tuning a state-of-the-art language generator to a specific task through an initial training phase on the existing (usually small) labeled data. Using the fine-tuned model and given a class label, new sentences for the class are generated. Our process then filters these new sentences by using a classifier trained on the original data. In a series of experiments, we show that LAMBADA improves classifiers' performance on a variety of datasets. Moreover, LAMBADA significantly improves upon the state-of-the-art techniques for data augmentation, specifically those applicable to text classification tasks with little data.

연구 동기 및 목표

• 텍스트 분류에서 라벨이 적은 데이터 문제와 효과적인 데이터 증강의 필요성을 동기화한다.
• 라벨이 지정된 문장을 합성하는 언어모델 기반 증강 파이프라인 LAMBADA를 소개한다.
• LAMBADA가 분류 정확도를 향상시키고 작은 데이터셋에서 기존 최첨단 증강 방법을 능가한다는 것을 보여준다.
• 무라벨 데이터가 없을 때도 LAMBADA가 베이스라인 및 다른 반지도학습 접근법 대비 우수한 성과를 낼 수 있음을 보여준다.

제안 방법

• 작은 라벨 데이터셋 D_train에서 GPT-2를 미세조정하여 작업 적용 제너레이터 G_tuned를 만든다.
• 클래스 라벨과 구분자를 사용해 G_tuned를 프롬프트하여 클래스별 문장을 생성하는 라벨링된 문장 세트 D*를 합성한다.
• D_train에서 학습된 기본 분류기 h를 사용해 D*를 필터링하고, 클래스별로 상위-N_y의 높은 신뢰도 예시를 남겨 D_synthesized를 형성한다.
• 타깃 분류기 A를 D_train ∪ D_synthesized로 재훈련하여 향상된 분류기를 얻는다.
• LAMBADA를 EDA, CVAE, CBERT 등 다른 증강 방법과 비교하고 McNemar 검정으로 통계적 유의성을 평가한다.
• LAMBADA는 unlabeled 데이터가 필요 없으며 zero-shot 클래스 시나리오에 대해 반복하거나 적응시킬 수 있음을 주의한다.

실험 결과

연구 질문

• RQ1 LAMBADA가 클래스당 학습 데이터가 매우 작을 때 텍스트 분류 성능을 향상시킬 수 있는가?
• RQ2 LAMBADA가 여러 분류기와 데이터셋에서 기존 텍스트 증강 방법과 어떻게 비교되는가?
• RQ3 라벨이 없는 데이터를 활용하지 않고도 효과적인가, 그리고 반지도학습 접근법과 비교하면 어떤가?
• RQ4 다양한 분류기 계열(BERT, SVM, LSTM)과 특성이 다른 데이터셋에서 LAMBADA가 이점을 제공하는가?

주요 결과

Dataset	Classifier	Baseline Accuracy	LAMBADA Accuracy	Improvement (%)
ATIS	BERT	53.3	75.7	58.5
ATIS	SVM	35.6	56.5	58.7
ATIS	LSTM	29.0	33.7	16.2
TREC	BERT	60.3	64.3	6.6
TREC	SVM	42.7	43.9	2.8
TREC	LSTM	17.7	25.8	45.0
WVA	BERT	67.2	68.6	2.1
WVA	SVM	60.2	62.9	4.5
WVA	LSTM	26.0	32.0	23.0

• 다섯 개 클래스당 샘플이 있는 ATIS에서 LAMBADA는 모든 분류기(BERT, SVM, LSTM)의 성능을 크게 향상시키고 baselines보다 우수하며(통계적으로 유의하게 p<0.01).
• 세 가지 데이터셋(ATIS, TREC, WVA)와 세 분류기에 대해 LAMBADA는 모든 조합에서 baseline보다 더 높은 정확도를 기록했으며, 특히 ATIS의 BERT와 SVM에서 두드러진 향상을 보였다.
• 표 4는 Baseline 대 LAMBADA 비교 시 분류기별 이득을 보여준다: ATIS (BERT 53.3 → 75.7; 개선 58.5%), ATIS (SVM 35.6 → 56.5; 58.7%), ATIS (LSTM 29.0 → 33.7; 16.2%), TREC (BERT 60.3 → 64.3; 6.6%), TREC (SVM 42.7 → 43.9; 2.8%), TREC (LSTM 17.7 → 25.8; 45.0%), WVA (BERT 67.2 → 68.6; 2.1%), WVA (SVM 60.2 → 62.9; 4.5%), WVA (LSTM 26.0 → 32.0; 23.0%).
• LAMBADA는 ATIS, TREC, WVA의 모든 분류기에 대해 표 5에서 EDA, CVAE, CBERT를 능가하며 McNemar p<0.01를 기록한다.
• 약한 라벨링 반지도학습 기반 대비, GPT-2 라벨링이 포함된 LAMBADA의 ATIS에서 BERT와 SVM의 정확도가 더 높아 unlabeled 데이터가 제한적일 때 합성된 라벨링 데이터의 가치를 보여준다.