[論文レビュー] Fast Cross-domain Data Augmentation through Neural Sentence Editing

Guillaume Raille, Sandra Djambazovska+1 more|arXiv (Cornell University)|Mar 23, 2020

Topic Modeling参考文献 17被引用数 12

ひとこと要約

この論文では、高速でクロスドメインに適応可能なニューラル文編集モデル「Edit-Transformer」を紹介する。このモデルは、高リソースなソースドメイン（例：Yelp）から多様で現実的な文のバリエーションを生成し、それを低リソースなターゲットドメイン（例：SST-2、Subj、Amazon）に適用する。従来の手法よりも高速な学習と推論を実現し、下流の分類性能を顕著に向上させ、一部のケースでは合成データが実データを上回ることを示した。

ABSTRACT

Data augmentation promises to alleviate data scarcity. This is most important in cases where the initial data is in short supply. This is, for existing methods, also where augmenting is the most difficult, as learning the full data distribution is impossible. For natural language, sentence editing offers a solution - relying on small but meaningful changes to the original ones. Learning which changes are meaningful also requires large amounts of training data. We thus aim to learn this in a source domain where data is abundant and apply it in a different, target domain, where data is scarce - cross-domain augmentation. We create the Edit-transformer, a Transformer-based sentence editor that is significantly faster than the state of the art and also works cross-domain. We argue that, due to its structure, the Edit-transformer is better suited for cross-domain environments than its edit-based predecessors. We show this performance gap on the Yelp-Wikipedia domain pairs. Finally, we show that due to this cross-domain performance advantage, the Edit-transformer leads to meaningful performance gains in several downstream tasks.

研究の動機と目的

• 低リソースNLPドメインにおけるデータ不足を解消するため、効果的なクロスドメインデータ拡張を可能にする。
• 従来のニューラル編集モデルの限界を克服する。これらのモデルは遅く、クロスドメイン設定では失敗する。
• ソースドメイン（例：Yelp）で学習した編集を、ターゲットドメイン（例：Amazon、SST-2）に最小限の性能低下で一般化する手法を開発する。
• 制御的で意味のある文の編集を通じて生成された合成データを用いて、下流の分類性能を向上させる。
• Edit-Transformerから生成された合成データが、特定の低データ環境下で同等量の実データを上回ることを示す。

提案手法

• Edit-Transformerは、ニューラルエディタの再帰的アーキテクチャを置き換え、トランスフォーマーに基づくエンコーダデコーダ構造を採用することで、高速な学習と推論を実現する。
• 高リソースなドメインにおけるソース文から、トークンレベルの変更（挿入、削除、置換）を予測することで、文の編集を学習する。
• 多数の文構造をカバーする多様な文にわたる一貫性のある編集ポリシーを、大規模なソースドメイン（Yelpレビュー）で学習する。
• 推論段階では、訓練済みモデルがターゲットドメインの文に学習済みの編集を適用し、合成学習サンプルを生成する。
• 編集が文法的・意味的に整合性を保つように制約されているため、ラベルの意味的性質が暗黙的に保持される。
• クロスドメインデータ拡張を評価手法として用い、合成データと実データを組み合わせて下流の分類器を微調整する。

実験結果

リサーチクエスチョン

• RQ1 高リソースなソースドメインで学習したニューラル文エディタが、低リソースなターゲットドメインに対して有用な合成データを効果的に生成できるか？
• RQ2 データ拡張の観点から、Edit-Transformerは従来の手法と比べて学習および推論速度でどのように差をつけるか？
• RQ3 Edit-Transformerが生成する合成データは、下流のNLP分類タスクにおいて測定可能な性能向上をもたらすか？
• RQ4 Edit-Transformerの合成データは、特定の低データ環境下で同等量の実データを上回る性能を示すか？
• RQ5 なぜEdit-Transformerは、従来の編集ベースのモデルよりもドメイン間でより良好に一般化できるのか？

主な発見

• Edit-Transformerは、ニューラルエディタベースラインと比較して、学習がほぼ3倍速く、推論が5倍速い。
• Subjデータセットでは、合成データを用いて各サンプルを2回ずつ増強した結果、100%の実データを使用した場合の91.44%から93.06%に精度が向上し、実データを2倍にした場合の性能向上を上回った。
• SST-2データセットでは、20%および50%のデータに合成サンプルを追加することで、精度が最大1.15ポイント向上したが、100%の実データではさらなる向上が見られなかった。
• Amazonレビューのデータセットでは、元のデータの1%のみを用いても、各サンプルを2回増強することで、精度を85.75%から86.87%に向上させ、全データ量のあらゆる割合で一貫した向上を示した。
• この手法は、ドメインシフトが生じても、複数のドメインで性能向上を示す、強固なクロスドメイン一般化性を示した。
• Attentionベースのアーキテクチャのおかげで、Edit-Transformerは再帰的モデルよりも優れたドメイン間転移性能を示しており、Yelp→SST-2やYelp→Subjといったドメインペアにおいて一貫した性能を発揮した。