[論文レビュー] Same Pre-training Loss, Better Downstream: Implicit Bias Matters for Language Models

Hong Liu, Sang Michael Xie+2 more|arXiv (Cornell University)|Oct 25, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文は、言語モデルにおける下流性能の代理指標としての事前学習損失に依存する従来のアプローチに挑戦し、同一の最小損失を示すモデルが顕著に異なる転移性能を示すことを実証している。モデルの平坦性（flatness）—特に、平坦な極小解への好み（implicit bias）—が、より良い下流性能をもたらす主な要因であると特定した。また、SGDが平坦な解を暗黙的に好むことを理論的に証明し、事前学習損失が同一であっても、平坦性と下流精度の間には強い相関関係があることを実証的に検証した。

ABSTRACT

Language modeling on large-scale datasets leads to impressive performance gains on various downstream language tasks. The validation pre-training loss (or perplexity in autoregressive language modeling) is often used as the evaluation metric when developing language models since the pre-training loss tends to be well-correlated with downstream performance (which is itself difficult to evaluate comprehensively). Contrary to this conventional wisdom, this paper shows that 1) pre-training loss cannot fully explain downstream performance and 2) flatness of the model is well-correlated with downstream performance where pre-training loss is not. On simplified datasets, we identify three ways to produce models with the same (statistically optimal) pre-training loss but different downstream performance: continue pre-training after convergence, increasing the model size, and changing the training algorithm. These experiments demonstrate the existence of implicit bias of pre-training algorithms/optimizers -- among models with the same minimal pre-training loss, they implicitly prefer more transferable ones. Toward understanding this implicit bias, we prove that SGD with standard mini-batch noise implicitly prefers flatter minima in language models, and empirically observe a strong correlation between flatness and downstream performance among models with the same minimal pre-training loss. We also prove in a synthetic language setting that among the models with the minimal pre-training loss, the flattest model transfers to downstream tasks.

研究の動機と目的

• 大規模言語モデルにおける下流性能の代理指標としての事前学習損失（例：perplexity）が信頼できると仮定することを挑戦すること。
• 事前学習損失が同一であっても、下流性能に顕著な差が生じる理由、特に最小損失に近い飽和領域においてその原因を解明すること。
• 自己教師付き事前学習における最適化アルゴリズムの暗黙的バイアスを特定・分析すること、特にモデルの平坦性との関連を検討すること。
• 事前学習損失とは独立して、モデルの平坦性と下流転移性能との理論的・実証的関連を確立すること。

提案手法

• 事前学習損失を一定に保ちつつ、学習ダイナミクス、モデルサイズ、最適化アルゴリズムの影響を分離するため、簡略化されたテキストデータセットを用いた制御実験を実施する。
• ヘッセ行列の最小固有値を用いてモデルの平坦性を測定し、同一の事前学習損失を持つモデル間でその平坦性と下流精度の相関関係を分析する。
• ミニバッチSGDが、人工的なラベルノイズを導入せずに、飽和領域における平坦な極小解を暗黙的に好むことを理論的に証明する。
• 合成された言語モデリング設定を用いて、最小事前学習損失を達成するモデルの中でも、最も平坦なモデルが下流タスクへの一般化性能が最も優れていることを示す。
• ランダム特徴量理論と集中不等式を用いて、低損失かつ有界ノルムの解が存在することを示し、平坦な極小解の実現可能性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 事前学習損失が同一であっても、なぜモデルの下流性能に差が生じるのか、特に損失が最適に近い場合にその理由は何か？
• RQ2 事前学習中に最適化アルゴリズムが導入する、下流転移性能に影響を与える暗黙的バイアスとは何か？
• RQ3 事前学習損失を一定に保った状態で、モデルの平坦性と下流性能の相関関係はどのように変化するか？
• RQ4 教師あり学習における暗黙的バイアスの理論的分析を、自己教師付き言語モデリングに拡張可能か？
• RQ5 訓練アルゴリズムやモデルサイズの選択が、事前学習損失とは独立して下流性能に影響を与えるか？

主な発見

• 収束後にさらに訓練を継続した標準的なSGDで学習したモデルは、収束時点で停止したモデルと同一の事前学習損失を示すが、下流性能が優れている。
• 同じ事前学習損失を達成するにもかかわらず、大きなモデルは小さなモデルよりも優れた下流性能を示す。これは、より小さい・転移性が低い構成を避けたい暗黙的バイアスを示している。
• 同一の事前学習損失を達成するが、敵対的学習で訓練されたモデルは、標準的学習モデルよりも下流性能が劣る。これにより、アルゴリズムによる暗黙的バイアスの影響がさらに明確になった。
• 損失関数の平坦性（ヘッセ行列の最小固有値で測定）は、同一の最小事前学習損失を持つモデル間で、下流性能と強く正の相関関係にある。
• 理論的分析により、ミニバッチSGDが、人工的なラベルノイズを導入せずとも、飽和領域で平坦な極小解を暗黙的に好むことが証明された。
• 合成された言語モデリング設定において、最小事前学習損失を達成するモデルの中でも、最も平坦なモデルが下流タスクへの転移性が最も優れていた。