[論文レビュー] Visualizing and Understanding the Effectiveness of BERT

Yaru Hao, Li Dong+2 more|arXiv (Cornell University)|Aug 15, 2019

Topic Modeling参考文献 31被引用数 22

ひとこと要約

この論文は、BERTの微調整における損失の地形と最適化軌道を可視化し、事前学習が性能と一般化を向上させる理由を説明する。事前学習は、より広く平坦な最適解に至る優れた初期点を提供し、収束が速くなる。一方、下位のBERT層は、タスク間でより不変で、転送可能であることが示された。

ABSTRACT

Language model pre-training, such as BERT, has achieved remarkable results in many NLP tasks. However, it is unclear why the pre-training-then-fine-tuning paradigm can improve performance and generalization capability across different tasks. In this paper, we propose to visualize loss landscapes and optimization trajectories of fine-tuning BERT on specific datasets. First, we find that pre-training reaches a good initial point across downstream tasks, which leads to wider optima and easier optimization compared with training from scratch. We also demonstrate that the fine-tuning procedure is robust to overfitting, even though BERT is highly over-parameterized for downstream tasks. Second, the visualization results indicate that fine-tuning BERT tends to generalize better because of the flat and wide optima, and the consistency between the training loss surface and the generalization error surface. Third, the lower layers of BERT are more invariant during fine-tuning, which suggests that the layers that are close to input learn more transferable representations of language.

研究の動機と目的

• 事前学習後に微調整するというアプローチが、NLPタスク全体でBERTの性能を向上させる理由を理解すること。
• ランダム初期化からの学習と比較して、微調整されたBERTの最適化ダイナミクスと一般化行動を調査すること。
• 個々のBERT層が転送学習と一般化において果たす役割を検討すること。
• 損失地形の幾何的性質を探索し、BERT微調整のロバスト性と有効性を説明すること。

提案手法

• 事前学習済みBERTパラメータと微調整済みパラメータの間を線形補間することで、1次元（1D）の損失曲線を構築する。
• 最適化軌道から導出された2つの主要方向に、高次元パラメータ空間を射影することで、2次元（2D）の損失表面を生成する。
• SGD更新の実際の経路を2D損失表面に射影することで、最適化軌道を可視化する。
• 同一の可視化技術を用いて、事前学習済み重みからの微調整と、ランダム初期化からの学習を比較する。
• 微調整中に特定の層を一時的に凍結する、または「ロールバック」することで、層ごとのアブレーションを実施し、一般化への寄与度を評価する。
• 訓練損失表面と一般化誤差表面の相関関係を用いて、モデルのロバスト性および最小値の平坦さを評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習は、微調整における収束の速さと最適化のしやすさを高める、より優れた初期化点を提供するのか？
• RQ2 損失地形の幾何的性質、特に平坦さと幅が、微調整されたBERTにおける一般化性能にどのように関連しているのか？
• RQ3 BERTの下位層は、上位層と比較して、異なる下流タスク間でどれほど不変で、転送可能なのか？
• RQ4 訓練損失表面と一般化誤差表面の整合性は、BERTの過学習に対するロバスト性をどのように説明するのか？
• RQ5 個々の層の微調整がモデルの一般化に与える影響は何か？また、どの層が転送性の向上に最も寄与しているのか？

主な発見

• 事前学習は、ランダム初期化と比較して、2D損失地形上でより広く平坦な最適解に至る優れた初期化点を提供する。
• 事前学習済み損失地形の有利な幾何的性質のおかげで、BERTの微調整は、高いモデル容量を持つ中でも、収束が速く、過学習に対してよりロバストである。
• 訓練損失表面と一般化誤差表面の間には強い相関関係があり、微調整中に見つかった平坦な最小値が、未知のデータへもうまく一般化されることを示している。
• BERTの下位層（0〜7層目）は、さまざまな下流タスク間でより不変であり、言語のタスクに依存しない表現を学習していると考えられる。
• MNLIデータセットにおいて、微調整中に下位層をロールバックすると一般化性能が向上するが、上位層をロールバックすると性能が低下する。これは、上位層がタスク固有の特徴を学習している役割を果たしていることを確認する。
• 微調整中の最適化軌道は、一貫してより平坦で広い最小値へ向かって移動しており、事前学習が有利な損失幾何により、より良い一般化を可能にしているという仮説を支持する。