[論文レビュー] HiddenCut: Simple Data Augmentation for Natural Language Understanding with Better Generalization

Jiaao Chen, Dinghan Shen+2 more|arXiv (Cornell University)|May 31, 2021

Topic Modeling参考文献 57被引用数 5

ひとこと要約

HiddenCut は、注意メカニズムを用いた戦略的戦略で連続する隠れ表現のスパンを動的にマスクすることにより、事前学習された言語モデルの汎化性能を向上させる、シンプルでありながら効果的なデータ拡張手法である。GLUEベンチマークにおいて最先端の手法を上回り、分布外および反事実的例において優れた耐性を示す。これは、モデルが一時的なパターンに依存するのではなく、より広範かつタスクに適した特徴に依存するよう促進するためである。

ABSTRACT

Fine-tuning large pre-trained models with task-specific data has achieved great success in NLP. However, it has been demonstrated that the majority of information within the self-attention networks is redundant and not utilized effectively during the fine-tuning stage. This leads to inferior results when generalizing the obtained models to out-of-domain distributions. To this end, we propose a simple yet effective data augmentation technique, HiddenCut, to better regularize the model and encourage it to learn more generalizable features. Specifically, contiguous spans within the hidden space are dynamically and strategically dropped during training. Experiments show that our HiddenCut method outperforms the state-of-the-art augmentation methods on the GLUE benchmark, and consistently exhibits superior generalization performances on out-of-distribution and challenging counterexamples. We have publicly released our code at https://github.com/GT-SALT/HiddenCut.

研究の動機と目的

• スプライアスなパターンに過剰にフィットするがゆえに、ファインチューニングされた事前学習済み言語モデルが分布外データに対して一般化性能に欠ける問題に対処すること。
• 高価なデータ収集や複雑な摂動に依存せずに、ファインチューニング中に隠れ表現を正則化することで、モデルの耐性を向上させること。
• 文脈的な一貫性を保ちつつ冗長性を低減するように、隠れ空間内で連続するスパンを戦略的にマスクするデータ拡張技術を開発すること。
• 隠れ空間における構造的なスパンのマスクが、ランダムまたは入力空間のドロップアウトよりも優れた特徴学習と一般化をもたらすことを示すこと。
• 多様な NLU タスクにわたってモデル性能を向上させる、効率的でパラメータフリーの正則化手法を提供すること。

提案手法

• HiddenCut は、各エンコーディング層の後で、入力やランダムドロップアウトではなく、Transformer のフィードフォワード層内の連続する隠れ表現のスパンをマスクする。
• 情報量の多いスパンを特定・優先するため、注意に基づくメカニズムを用いることで、ランダムではなく戦略的な隠れユニットの削除を実現する。
• 注意スコアに基づいてスパンを動的に選択することで、マスクプロセスにおける多様性と適応性を促進する。
• 元の入力と拡張された入力の両方の順伝播間で、Jensen-Shannon Divergence (JSD) の一貫性正則化を適用し、ラベルの一貫性を保つ。
• マスク率はハイパーパrameter α で制御され、これはマスクするスパンの長さを決定する。また、候補集合のサイズを制御するサンプリング比 β も用いる。
• このアプローチはファインチューニング時に適用され、追加のモデルパラメータやトレーニングデータを必要としない。

実験結果

リサーチクエスチョン

• RQ1 隠れ空間における連続スパンのマスクは、ランダムドロップアウトや入力空間の拡張を上回る汎化性能の向上をもたらすか？
• RQ2 スパンのマスクに注意に基づく戦略を用いることで、ランダムまたは均一なマスクに比べて性能と耐性が向上するか？
• RQ3 隠れ空間における連続スパンのマスクは、分布内および分布外の NLU ベンチマークにおいて、最先端のデータ拡張手法と比較してどうなるか？
• RQ4 マスク強度（α で制御）とモデル性能との間の最適なトレードオフは何か？
• RQ5 HiddenCut は注意分布や特定のトークンへのモデル依存性にどのように影響を与えるか？

主な発見

• HiddenCut は GLUE ベンチマークにおいて最先端のデータ拡張手法を上回り、8 つの自然言語理解タスクで SOTA 結果を達成した。
• 分布外および挑戦的な反事実的例において、HiddenCut は一貫して一般化性能を向上させ、特にスプライアスなキューに依存することで失敗するケースにおいて顕著な改善を示した。
• MNLI では α = 0.1 のときに最高のパフォーマンスが得られ、中程度の摂動が最適であることを示した。α の値が高くなると過剰なノイズにより性能が低下した。
• SST-2 では、最適なサンプリング比 β = 0.4 が最高の精度（95.76%）をもたらし、スパン選択における多様性と効率性のバランスが取れていることを示した。
• 注意重みの可視化により、HiddenCut はより一様な注意分布をもたらし、『8 スター』や『魅力的』といった高注意トークンへの過剰な依存を軽減していることがわかった。
• Jensen-Shannon Divergence 正則化により、元の例と拡張された例の間で予測の一貫性が保たれ、耐性が向上した。