[論文レビュー] Data Augmentation using Pre-trained Transformer Models

Varun Kumar, Ashutosh Choudhary+1 more|arXiv (Cornell University)|Mar 4, 2020

Topic Modeling参考文献 26被引用数 140

ひとこと要約

この論文はデータ拡張のために事前学習済みトランスフォーマー（BERT, GPT-2, BART）を条件付けして比較し、低リソース設定で3つのNLP分類タスクを評価。seq2seqベースのBARTが一般に拡張に最良、バック翻訳のようなベースラインが強力。

ABSTRACT

Language model based pre-trained models such as BERT have provided significant gains across different NLP tasks. In this paper, we study different types of transformer based pre-trained models such as auto-regressive models (GPT-2), auto-encoder models (BERT), and seq2seq models (BART) for conditional data augmentation. We show that prepending the class labels to text sequences provides a simple yet effective way to condition the pre-trained models for data augmentation. Additionally, on three classification benchmarks, pre-trained Seq2Seq model outperforms other data augmentation methods in a low-resource setting. Further, we explore how different pre-trained model based data augmentation differs in-terms of data diversity, and how well such methods preserve the class-label information.

研究の動機と目的

• 条件付きテキスト生成のための3つのトランスフォーマー系データ拡張手法（AE/BERT、AR/GPT-2、Seq2Seq/BART）を評価する。
• ラベル条件付け（前置 prepend vs 拡張 expand）がタスク全体で拡張品質に与える影響を評価する。
• 低リソース領域において、拡張手法をベースライン（EDA、Backtranslation、CBERT）と比較する。
• 生成データの意味的忠実度と多様性を分析する。
• データ拡張のための事前学習モデル選択に関する実用的ガイドラインを提供する。

提案手法

• 入力にクラスラベルを前置して、ラベル付きデータでBERT、GPT-2、BARTを微調整して生成を条件づける。
• AEモデル（BERT）の場合は標準マスキングを用いたMLM目的、ARモデル（GPT-2）の場合はラベルプロンプトと拡張コンテキストを用いて条件付きテキストを生成、Seq2Seqモデル（BART）の場合は単語またはスパンマスキングを用いたノイズ除去学習と40%のマスキング率を用いる。
• 2つの条件付け方式を比較する：prepend（入力へのラベル追加）と expand（語彙内の追加トークンとしてのラベル）。
• 訓練データの各例につき1つの合成例を生成して、バランスのとれた拡張データセットを形成する。
• 拡張データで基礎となるBERT分類器を訓練し、全テストセットで評価する。
• 内挿的要因（検出器分類器による意味忠実性と型-語彙多様性）と外挿的要因（テストセットの正確さ）の両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのオートエンコーダ、オートレグレッシブ、そしてSeq2Seqモデルは、データ拡張のためにクラスラベルで効果的に条件付けできるか？
• RQ2 どの条件付け方式（prepend vs expand）がタスク横断でより良い下流性能と一般化をもたらすか？
• RQ3 低リソース設定で、これらの拡張手法は強力なベースライン（EDA、Backtranslation、CBERT）とどう比較されるか？
• RQ4 生成サンプルはモデル間で意味忠実性と多様性のバランスをどう取るか？
• RQ5 データ拡張のための事前学習モデル選択に関する実用的ガイドラインは何か？

主な発見

モデル	SST-2	SNIPS	TREC
No Aug	52.93 (5.01)	79.38 (3.20)	48.56 (11.53)
EDA	53.82 (4.44)	85.78 (2.96)	52.57 (10.49)
BackTrans.	57.45 (5.56)	86.45 (2.40)	66.16 (8.52)
CBERT	57.36 (6.72)	85.79 (3.46)	64.33 (10.90)
BERT expand	56.34 (6.48)	86.11 (2.70)	65.33 (6.05)
BERT prepend	56.11 (6.33)	86.77 (1.61)	64.74 (9.61)
GPT2 context	55.40 (6.71)	86.59 (2.73)	54.29 (10.12)
BART word	57.97 (6.80)	86.78 (2.59)	63.73 (9.84)
BART span	57.68 (7.06)	87.24 (1.39)	67.30 (6.13)

• Seq2SeqベースのBARTは、低データ設定においてSST-2、SNIPS、TRECの各タスクで他の拡張手法を概ね上回る。
• Back-translationは忠実度の強力なベースラインのままで、他の事前学習手法を上回ることが多い。
• AEベース手法（BERT）は競争力のある性能を示し、単純なラベル前置で堅牢な結果を出す。
• ARベースのGPT-2は、生成データでラベルをより良く保持するには追加のコンテキスト（GPT-2コンテキスト）が必要である。
• 多様性と忠実度のトレードオフは手法によって異なる。EDAは語彙的多様性が高いが意味には悪影響を与える可能性がある。
• Prepend条件付けは拡張よりも互換性が高く収束が速いため、しばしば好まれる。