[論文レビュー] Not Enough Data? Deep Learning to the Rescue!

Ateret Anaby-Tavor, Boaz Carmeli+6 more|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 13被引用数 32

ひとこと要約

LAMBADAは、少量のラベル付きテキストデータセットでGPT-2言語モデルをファインチューニングしてラベル付きの合成データを生成し、それをベースライン分類器でフィルタリングし、分類精度を向上させるために再訓練する。

ABSTRACT

Based on recent advances in natural language modeling and those in text generation capabilities, we propose a novel data augmentation method for text classification tasks. We use a powerful pre-trained neural network model to artificially synthesize new labeled data for supervised learning. We mainly focus on cases with scarce labeled data. Our method, referred to as language-model-based data augmentation (LAMBADA), involves fine-tuning a state-of-the-art language generator to a specific task through an initial training phase on the existing (usually small) labeled data. Using the fine-tuned model and given a class label, new sentences for the class are generated. Our process then filters these new sentences by using a classifier trained on the original data. In a series of experiments, we show that LAMBADA improves classifiers' performance on a variety of datasets. Moreover, LAMBADA significantly improves upon the state-of-the-art techniques for data augmentation, specifically those applicable to text classification tasks with little data.

研究の動機と目的

• テキスト分類におけるラベル付きデータの不足という問題と、効果的なデータ拡張の必要性を動機づける。
• 言語モデルベースの拡張パイプラインであるLAMBADAを紹介し、ラベル付き文を合成する。
• LAMBADAが分類精度を改善し、少数データセット上で最先端のデータ拡張手法を超えることを示す。
• ラベルなしデータが利用できない場合においても、LAMBADAがベースラインや他の半教師あり学習アプローチを上回ることを示す。

提案手法

• 小さなラベル付きデータセット D_train でGPT-2をファインチューニングして、タスク適応型の生成器 G_tuned を作成する。
• クラスラベルとセパレータで G_tuned にプロンプトをかけ、クラスごとに文を生成して D* というラベル付き文集合を合成する。
• D_train で訓練したベースライン分類器 h を用いて D* をフィルタリングし、各クラスにつき高信頼度のトップ-N_y の例を保持して D_synthesized を構成する。
• D_train ∪ D_synthesized 上でターゲット分類器 A を再訓練して、改善された分類器を得る。
• LAMBADAを他のデータ拡張法（EDA、CVAE、CBERT）およびベースラインと比較し、McNemar検定で統計的有意性を評価する。
• LAMBADAはラベルなしデータを必要とせず、反復実行が可能でありゼロショットクラスの状況にも適応できることに注意。

実験結果

リサーチクエスチョン

• RQ1 クラスごとの訓練データが非常に少ない場合に、LAMBADAはテキスト分類の性能を向上させられるか。
• RQ2 複数の分類器とデータセットにわたって、LAMBADAは既存のテキスト拡張手法とどう比較されるか。
• RQ3 ラベルなしデータを活用せずに効果的かどうか、半教師ありアプローチと比較してどうか。
• RQ4 異なる分類器ファミリー（例：BERT、SVM、LSTM）と特徴が異なるデータセットの間でLAMBADAは益をもたらすか。

主な発見

データセット	分類器	ベースライン精度	LAMBADA 精度	改善（%）
ATIS	BERT	53.3	75.7	58.5
ATIS	SVM	35.6	56.5	58.7
ATIS	LSTM	29.0	33.7	16.2
TREC	BERT	60.3	64.3	6.6
TREC	SVM	42.7	43.9	2.8
TREC	LSTM	17.7	25.8	45.0
WVA	BERT	67.2	68.6	2.1
WVA	SVM	60.2	62.9	4.5
WVA	LSTM	26.0	32.0	23.0

• ATISでクラスごとに5サンプルの場合、LAMBADAはすべての分類器（BERT、SVM、LSTM）でベースラインを大幅に上回り、他の拡張手法より優れている（統計的有意、p<0.01）。
• 3つのデータセット（ATIS、TREC、WVA）と3つの分類器にわたり、LAMBADAはすべての組み合わせでベースラインより高い精度を示し、特にATISでBERTとSVMに顕著な向上を示した。
• Table 4 は Baseline 対 LAMBADA の比較における各分類器の獲得を示す: ATIS (BERT 53.3 → 75.7; improvement 58.5%), ATIS (SVM 35.6 → 56.5; 58.7%), ATIS (LSTM 29.0 → 33.7; 16.2%), TREC (BERT 60.3 → 64.3; 6.6%), TREC (SVM 42.7 → 43.9; 2.8%), TREC (LSTM 17.7 → 25.8; 45.0%), WVA (BERT 67.2 → 68.6; 2.1%), WVA (SVM 60.2 → 62.9; 4.5%), WVA (LSTM 26.0 → 32.0; 23.0%).
• LAMBADAはTable 5の全分類器においてATIS、TREC、WVAの各データセットでEDA、CVAE、CBERTを上回る（McNemar p<0.01）。
• 弱ラベリングの半教師ありベースラインと比較して、GPT-2 ラベリングを用いた LAMBADA は ATIS で BERT および SVM の精度を高め、ラベルなしデータが限られている場合に合成されたラベル付きデータの価値を示している。