[論文レビュー] Variational Information Bottleneck for Effective Low-Resource Fine-Tuning

Rabeeh Karimi Mahabadi, Yonatan Belinkov+1 more|arXiv (Cornell University)|Jun 10, 2021

Topic Modeling参考文献 55被引用数 39

ひとこと要約

VIBERT は微調整時に変分情報ボトルネックを用いて事前学習済みの文表現を圧縮し、低リソースNLP設定における過適合を抑制し、アウトオブドメイン一般化を改善します。

ABSTRACT

While large-scale pretrained language models have obtained impressive results when fine-tuned on a wide variety of tasks, they still often suffer from overfitting in low-resource scenarios. Since such models are general-purpose feature extractors, many of these features are inevitably irrelevant for a given target task. We propose to use Variational Information Bottleneck (VIB) to suppress irrelevant features when fine-tuning on low-resource target tasks, and show that our method successfully reduces overfitting. Moreover, we show that our VIB model finds sentence representations that are more robust to biases in natural language inference datasets, and thereby obtains better generalization to out-of-domain datasets. Evaluation on seven low-resource datasets in different tasks shows that our method significantly improves transfer learning in low-resource scenarios, surpassing prior work. Moreover, it improves generalization on 13 out of 15 out-of-domain natural language inference benchmarks. Our code is publicly available in https://github.com/rabeehk/vibert.

研究の動機と目的

• 低リソースデータで大規模な事前学習済み言語モデルをファインチューニングする際の過適合を動機づけ、対処する。
• タスク固有の分類前に文表現を圧縮するために Variational Information Bottleneck (VIB) を導入する。
• VIB が表面的なバイアスへの依存を低減し、アウトオブドメインの一般化を改善することを示す。
• 7つの低リソースデータセットと複数のNLPタスクにおいて実証的な利得を示す。

提案手法

• 事前学習済みのエンコーダ（BERT）の上に VIB モジュールを統合し、文埋め込みをタスク分類器で使用される潜在変数 z に写像する。
• L_VIB = β E_x[KL(pθ(z|x), r(z))] + E_z~pθ(z|x)[-log qφ(y|z)] のように、KL(pθ(z|x) || r(z)) を最小化し、y の再構成項を加える変分目的関数を用いる。
• 解析的な KL の計算を可能にするために、対角共分散を持つガウス prior r(z) および後方分布 pθ(z|x) を仮定する。
• fφ(x)（事前学習済みエンコーダの文埋め込み）から浅い MLP を用いて μ(x) と Σ(x) を推定する。
• 再パラメータ化を用いて z = μ(x) + Σ(x) ⊙ ε, ε ~ N(0, I) でエンドツーエンドに訓練する。
• z をタスク固有分類器 qφ(y|z) の唯一の入力として扱う。
• 情報圧縮を制御するためのボトルネックサイズ K と正則化重み β を用いた実験を行う。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング時に Variational Information Bottleneck を取り入れることで、低リソースNLPタスクの過適合を減らすことができるか？
• RQ2 VIBETR はデータセットのバイアスへの頑健性を改善し、アウトオブドメインの NLI データセットへより良く一般化するか？
• RQ3 低リソースおよびアウトオブドメイン設定において、VIBERT は標準的な正則化手法（Dropout、Mixout、Weight Decay）とどう比較されるか？
• RQ4 VIB が訓練効率とモデルサイズへ与える影響は何か？

主な発見

• VIBERT はベースラインと比較して七つの低リソースデータセットで精度を大幅に向上させる。
• 低リソース設定で、BERT-Base および BERT-Large において Dropout、Mixout、Weight Decay を上回る顕著な利得を VIBERT は提供する。
• VIBERT は表面的なバイアスへの依存を低減し、アウトオブドメイン NLI データセットへの一般化を向上させる。
• 仮説のみバイアス分析は、VIBERT が仮説のみの精度をはるかに低くすることを示し、デバイズド表現を示す。
• VIBERT は情報圧縮（β）と予測性能の制御可能なトレードオフを示し、β が適切にバランスされると一般化が向上する。
• 圧縮損失を用いないアブレーション（β=0）は性能を低下させ、VIB 目的の利点を裏付ける。