[論文レビュー] Augmenting Data with Mixup for Sentence Classification: An Empirical Study

Hongyu Guo, Yongyi Mao+1 more|arXiv (Cornell University)|May 22, 2019

Topic Modeling参考文献 10被引用数 146

ひとこと要約

この論文は Mixup データ拡張を NLP に適用し、単語埋め込み (wordMixup) および文埋め込み (senMixup) で補間を行い、複数の文分類タスクで CNN と LSTM の精度を向上させることを示す。

ABSTRACT

Mixup, a recent proposed data augmentation method through linearly interpolating inputs and modeling targets of random samples, has demonstrated its capability of significantly improving the predictive accuracy of the state-of-the-art networks for image classification. However, how this technique can be applied to and what is its effectiveness on natural language processing (NLP) tasks have not been investigated. In this paper, we propose two strategies for the adaption of Mixup on sentence classification: one performs interpolation on word embeddings and another on sentence embeddings. We conduct experiments to evaluate our methods using several benchmark datasets. Our studies show that such interpolation strategies serve as an effective, domain independent data augmentation approach for sentence classification, and can result in significant accuracy improvement for both CNN and LSTM models.

研究の動機と目的

• ラベル不変なテキスト変換に依存せず、NLP におけるデータ不足問題に対処するためのデータ拡張を動機づける。
• 文のための Mixup の適応を2つ提案する: 埋め込み空間での単語レベルの補間と、隠れ表現レベルでの文レベルの補間。
• 標準的な NLP ベンチマークに跨る複数の CNN および LSTM アーキテクチャで提案手法を実証的に評価する。
• Mixup が文分類のドメインに依存しない正則化子として機能するかを評価し、埋め込みのチューニング効果を分析する。

提案手法

• Mixup を入力とターゲットを線形補間することで適用する: - wordMixup は文の各トークンの単語埋め込み間で補間を行う。 - senMixup は CNN または LSTM によって生成される最終隠れ層の文表現の間を補間する。 混合比 lambda は Beta(alpha, alpha) 分布から取り、alpha はデフォルトで 1。 ラベルは y-tilde = lambda y_i + (1 - lambda) y_j のように混合される。
• Applies to standard CNN (Kim 2014) or LSTM classifiers with a final softmax/ logistic regression classifier for prediction.
• Evaluates under four embedding settings: RandomTune, RandomFix, PretrainTune, PretrainFix.
• Trains with Adam optimizer; uses 20000 steps per run; reports mean accuracy over 10 runs with standard deviations.
• Uses ten benchmark datasets: TREC, MR, SST-1, SST-2, Subj; compares against baseline CNN/LSTM and variants with wordMixup/senMixup.]
• research_questions':['Mixup に触発された補間を自然言語の文分類タスクに効果的に適用できるか？','単語レベルと文レベルの Mixup は CNN および LSTM アーキテクチャ全体で正則化効果を提供するか？','埋め込みの初期化とチューニング性（ランダム vs 事前学習済み）は Mixup の有効性にどう影響するか？','SST-2 や SST-1 を含む複数のデータセットで性能向上が一貫しているか？','従来の dropout/L2 ペナルティと比較して、訓練ダイナミクスと正則化における Mixup の影響はどうか？'],

実験結果

リサーチクエスチョン

• RQ1 Mixup に触発された補間を自然言語の文分類タスクに効果的に適用できるか？
• RQ2 単語レベルと文レベルの Mixup は CNN および LSTM アーキテクチャ全体で正則化効果を提供するか？
• RQ3 埋め込みの初期化とチューニング性（ランダム vs 事前学習済み）は Mixup の有効性にどう影響するか？
• RQ4 SST-2 や SST-1 を含む複数のデータセットで性能向上が一貫しているか？
• RQ5 従来の dropout/L2 ペナルティと比較して、訓練ダイナミクスと正則化における Mixup の影響はどうか？

主な発見

• WordMixup と senMixup は RandomTune 設定下ですべての 5 データセットの CNN の性能を改善し、SST-1 および MR で顕著な改善（相対で 3% 以上）を示す。
• SST-2 では、埋め込みが学習可能な場合、Mixup の利益は限定的で時に無視できる。固定埋め込みでは、効果は変動し、中立的または負になることがある。
• wordMixup/senMixup を用いた LSTM もいくつかのデータセットで改善を示し、特に TREC と SST-1 で顕著な利益（相対で 4.6% および 5.2%）を示す。
• 事前学習済み埋め込みをチューニングとともに使用すると、Mixup バリアントは一般に精度を維持または向上させる（例: SST-1, SST-2, MR）。
• Mixup は正則化子として機能することを、Mixup 手法で訓練損失がゼロを下回らず正の値のままであることから示しており、Mixup なしのベースライン CNN では損失が急速に低下するのとは対照的である。
• 設定を超えて、Mixup はドメインに依存しない低コストのデータ拡張として説明され、文分類の過学習を軽減するのに役立つ。