[論文レビュー] LINDA: Unsupervised Learning to Interpolate in Natural Language Processing

Yekyung Kim, Seohyeong Jeong+1 more|arXiv (Cornell University)|Dec 28, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

LINDAは、ヒューリスティクスや手動リソースに依存せずに、自然言語文の間を補間する非教師ありニューラル手法を提案する。混合比に基づいて条件付き言語モデルを訓練することで、補間されたテキストを生成する。これにより、マッチアップベースのデータ拡張が有効に可能となり、ドメイン内、ドメイン外、低リソース設定の文書分類において一般化性能が著しく向上する。

ABSTRACT

Despite the success of mixup in data augmentation, its applicability to natural language processing (NLP) tasks has been limited due to the discrete and variable-length nature of natural languages. Recent studies have thus relied on domain-specific heuristics and manually crafted resources, such as dictionaries, in order to apply mixup in NLP. In this paper, we instead propose an unsupervised learning approach to text interpolation for the purpose of data augmentation, to which we refer as "Learning to INterpolate for Data Augmentation" (LINDA), that does not require any heuristics nor manually crafted resources but learns to interpolate between any pair of natural language sentences over a natural language manifold. After empirically demonstrating the LINDA's interpolation capability, we show that LINDA indeed allows us to seamlessly apply mixup in NLP and leads to better generalization in text classification both in-domain and out-of-domain.

研究の動機と目的

• テキストの離散的かつ可変長の性質ゆえに、NLPにおけるマッチアップの適用が困難であるという課題に対処すること。
• ドメイン特化のヒューリスティクスや辞書などの手動で整備されたリソースに依存しないこと。
• 自然言語多様体上での意味的に整合性があり、混合比によって制御可能な補間文を生成するニューラル補間演算子を学習すること。
• このような学習済み補間が、文書分類タスクにおけるマッチアップによる有効なデータ拡張を可能にするかどうかを評価すること。

提案手法

• テキスト補間を、2つの入力文と混合比 α ∈ [0,1] を条件として、条件付き言語モデルからサンプリングすることとして定義する。
• 両方の入力文が高確率で発生するように、seq2seqモデル（ファインチューニング済みBART）を訓練し、相対的尤度が α によって制御されるようにする。
• 補間出力を両入力と潜在空間で近づける一方で、多様性を維持するためのコントラスト学習目的関数を用いる。
• 学習済み補間をマッチアップ訓練の即時置換として適用し、f_int^x および f_int^y を用いて混合入力とソフトラベルを生成する。
• 交差エントロピー損失とコントラスト損失の組み合わせを最適化することで、両元の文への意味的整合性を保持する。
• 多様な文のペアをカバーするよう、中程度のWikipediaコーパスでモデルをファインチューニングし、補間パターンを学習する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、任意のペアの自然言語文の間で、意味的に整合性があり、混合比によって制御可能な補間を学習できるか？
• RQ2 LINDAによる非教師あり補間は、マッチアップに組み込むことで、NLPにおける有効なデータ拡張を可能にするか？
• RQ3 ドメイン内およびドメイン外一般化の観点から、LINDAはヒューリスティクスベースおよびモデルベースのデータ拡張手法と比べてどのように差をつけるか？
• RQ4 LINDAは、ラベル付きデータが乏しい低リソース環境でもモデル性能を向上させられるか？
• RQ5 混合比 α に対して、補間の挙動は単調的かつ予測可能か？

主な発見

• LINDAは、多様な入力ペアに対して意味的に整合性のある補間文を生成し、定性的な検査により混合比による制御性が確認された。
• 自動評価指標では、混合比 α と元の文への類似度の間で単調な関係が確認され、制御性が裏付けられた。
• 低リソース設定（1クラスあたり5または10例）では、LINDAはEDA、SSMBA、マッチアップを除き、すべてのデータセットで優れた性能を示した。TREC-fine（5ショット）を除き、性能は標準偏差内に収まった。
• フルリソース設定では、LINDAは7つのデータセットのうち4つで最高の正確度を達成し、残りのデータセットでも競争力のある性能を示した。非拡張ベースラインを常に上回った。
• NLIタスク（RTE、QNLI、MNLI）では、LINDAはRTEで5.4%、QNLIで0.7%、MNLIで0.5%の正確度向上を達成した。一方、他の手法は性能が低下した。
• ドメイン外一般化において、LINDAはすべてのドメイン（Amazon、Yelp、Movies）で性能を向上させ、バニラベースラインを常に上回った。一方、EDAやマッチアップは改善が見られなかった。