[論文レビュー] CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding

Yanru Qu, Dinghan Shen+4 more|arXiv (Cornell University)|Oct 16, 2020

Topic Modeling参考文献 51被引用数 28

ひとこと要約

CoDA は自然言語理解のための新しいデータ拡張フレームワークであり、特にバックトランスレーションと adversarial training を組み合わせることで、すべての訓練サンプル間のグローバルな関係を捉える対照的正則化損失を導入することで、モデルの汎化性能を向上させる。GLUEベンチマークにおいて、CoDA は RoBERTa-large を平均 2.2% 向上させ、特にリソースが限られた状況で強力なベースラインを上回る。

ABSTRACT

Data augmentation has been demonstrated as an effective strategy for improving model generalization and data efficiency. However, due to the discrete nature of natural language, designing label-preserving transformations for text data tends to be more challenging. In this paper, we propose a novel data augmentation framework dubbed CoDA, which synthesizes diverse and informative augmented examples by integrating multiple transformations organically. Moreover, a contrastive regularization objective is introduced to capture the global relationship among all the data samples. A momentum encoder along with a memory bank is further leveraged to better estimate the contrastive loss. To verify the effectiveness of the proposed framework, we apply CoDA to Transformer-based models on a wide range of natural language understanding tasks. On the GLUE benchmark, CoDA gives rise to an average improvement of 2.2% while applied to the RoBERTa-large model. More importantly, it consistently exhibits stronger results relative to several competitive data augmentation and adversarial training base-lines (including the low-resource settings). Extensive experiments show that the proposed contrastive objective can be flexibly combined with various data augmentation approaches to further boost their performance, highlighting the wide applicability of the CoDA framework.

研究の動機と目的

• 効果的でラベルを保持するテキスト変換を設計し、モデルの汎化性能を向上させる課題に対処すること。
• 複数のデータ拡張技術を効果的に統合して、より多様で情報量の多い訓練例を生成する方法を調査すること。
• すべての訓練サンプル間のグローバルな関係を活用する学習目的を構築すること。これは、元のサンプルと拡張されたペア間のローカルな一貫性を超える。
• 拡張データを通じた表現学習を強化することで、特にリソースが限られた状況でのデータ効率を向上させること。
• さまざまなデータ拡張戦略と組み合わせて使用可能な柔軟で原理的根拠のあるフレームワークを提供すること。

提案手法

• CoDA は、バックトランスレーションや adversarial training などの複数のラベルを保持する変換をスタックすることで、多様で高品質な拡張例を生成する。
• すべての訓練サンプル間のグローバルな関係を捉えるために、対照的学習の目的関数を導入し、ポジティブペア（元のサンプルと拡張されたサンプル）の表現が類似するよう促進するとともに、全訓練セットにおけるネガティブペアと対照化する。
• 対照的学習のプロセスを安定化させ、ネガティブサンプルの推定を向上させるために、モーメンタムエンコーダーとメモリバンクを用いる。
• 一貫性正則化を適用して、ラベルを保持する変換に対してモデルの予測が不変であることを保証する。
• 対照的目的関数はモジュール式に設計されており、コアな CoDA パイプラインを超えて、さまざまなデータ拡張手法と統合可能である。
• RoBERTaベースのモデルを用いて GLUE ベンチマーク上で評価され、リソースが限られた状況でのアブレーションスタディが含まれる。

実験結果

リサーチクエスチョン

• RQ1 複数のラベルを保持するテキスト変換を効果的に組み合わせることで、多様で情報量の多い拡張例を生成する方法は何か？
• RQ2 すべての訓練サンプル間のグローバルな関係を捉える対照的学習目的は、データ拡張の有効性を向上させられるか？
• RQ3 特にリソースが限られた状況において、CoDA は標準的な微調整や他のデータ拡張、adversarial training のベースラインと比べてどのように性能を発揮するか？
• RQ4 対照的目的関数は、さまざまなデータ拡張技術に一般化できる程度まで拡張可能か？
• RQ5 拡張サンプルの多様性が、特にラベル付きデータが少ない状況で、モデルの汎化性能に顕著に影響を与えるか？

主な発見

• CoDA は RoBERTa-large に適用した場合、GLUEベンチマークで平均 2.2% の向上を達成し、標準的な微調整を上回る強力な性能向上を示した。
• リソースが限られた状況では、CoDA はバックトランスレーションや adversarial training を常に上回り、MNLI や QNLI のような小さなデータセットではより大きな向上が観察された。
• バックトランスレーションと adversarial training をスタックすることで、最も多様で高品質な拡張サンプルが得られ、性能向上が顕著に向上した。
• 提案された対照的目的関数は、評価されたすべてのデータ拡張手法で性能向上をもたらし、その広範な適用可能性と有効性を確認した。
• 対照的損失は、元のペア間のローカルな一貫性を超えて、すべての訓練埋め込み間のグローバルな関係を活用することで、モデルの汎化性能を向上させた。
• モーメンタムエンコーダーとメモリバンクは、テキストデータ拡張の文脈における対照的学習の安定性と品質を顕著に向上させた。