[論文レビュー] Implicit Bias in Deep Linear Classification: Initialization Scale vs Training Accuracy

Edward Moroshko, Suriya Gunasekar+4 more|arXiv (Cornell University)|Jul 13, 2020

Stochastic Gradient Optimization Techniques参考文献 32被引用数 8

ひとこと要約

この論文は、指数的損失における勾配フローを用いた深層線形分類における暗黙のバイアスを分析し、カーネルからリッチ（非カーネル）な領域への遷移が、初期化スケールと訓練精度の両方に強く依存することを示している。リッチ領域は極めて高い訓練精度（例：10⁻¹⁰⁰を超える）でのみ出現し、実用的な訓練精度と中程度の初期化スケールでは、暗黙のバイアスはより複雑であり、標準的な漸近的極限では捉えきれないことを明らかにした。

ABSTRACT

We provide a detailed asymptotic study of gradient flow trajectories and their implicit optimization bias when minimizing the exponential loss over "diagonal linear networks". This is the simplest model displaying a transition between "kernel" and non-kernel ("rich" or "active") regimes. We show how the transition is controlled by the relationship between the initialization scale and how accurately we minimize the training loss. Our results indicate that some limit behaviors of gradient descent only kick in at ridiculous training accuracies (well beyond $10^{-100}$). Moreover, the implicit bias at reasonable initialization scales and training accuracies is more complex and not captured by these limits.

研究の動機と目的

• 初期化スケールと訓練精度が、指数的損失最小化における深層線形ネットワークの暗黙のバイアスにどのように共同で影響を与えるかを理解すること。
• 大規模な初期化スケールでカーネル領域が出現するのに対し、分類においてリッチ領域が初期化スケールに依存しないという見かけ上の矛盾を解明すること。
• 深層線形分類におけるカーネルと非カーネル（リッチ）領域の遷移を特徴づけ、特に深さ、幅、および訓練精度にどのように依存するかを明らかにすること。
• ハイパーパramータの異なる領域において、対角線形ネットワークの勾配フロー軌道の詳細な漸近的解析を提供し、暗黙のバイアスをマッピングすること。

提案手法

• 指数的損失を用いた対角線形ネットワークにおける勾配フロー軌道を分析し、漸近的解析を用いて暗黙のバイアスをモデル化する。
• 極めて低い損失値での訓練を安定化させるために、正規化された勾配降下更新則を用いる。
• 損失が10⁻¹⁰⁰₀未満であっても数値的安定性を保つために、最小のロジット値を用いた再重み付けスキームを導入する。
• K(t)とK(0)の間の接線カーネルコサイン類似度を用いて、カーネル領域への近さを測定し、最適化過程での変化を追跡する。
• 最適な予測子に対する過剰なℓ₁およびℓ₂ノルムを用いて暗黙のバイアスを定量化し、カーネル極限およびリッチ極限と比較する。
• 深さD、初期化スケールα、およびターゲット精度ϵの変動を想定したシミュレーションを用い、領域間の遷移領域をマッピングする。

実験結果

リサーチクエスチョン

• RQ1 深層線形分類における暗黙のバイアスは、初期化スケールと訓練精度の相互作用にどのように依存するか？
• RQ2 最適化軌道がカーネル領域から脱出し、リッチ（非カーネル）領域に入るのはどの訓練精度のときか？
• RQ3 分類においてリッチ領域が初期化スケールに依存しないように見えるのはなぜか、カーネル領域がそれ依赖であるのに対し？
• RQ4 深さは、損失および接線カーネルダイナミクスの観点から、カーネル領域からリッチ領域への遷移にどのように影響するか？
• RQ5 カーネル極限とリッチ極限の間の中間領域における暗黙のバイアスの性質は何か？ そして、両極端とはどのように異なるか？

主な発見

• リッチ領域は、約10⁻¹⁰⁰未満の訓練精度でのみ達成される。これは、大きな初期化でも、標準的な訓練手順ではカーネル領域にとどまり続けることを意味する。
• 初期化スケールが大きくなるとカーネル領域が出現するが、これは訓練精度が有限のしきい値（例：ϵ ≈ 10⁻¹⁰）に制限されている場合に限る。無限の訓練時間の極限ではカーネル領域にとどまる。
• 実用的な訓練精度（例：ϵ = 10⁻¹⁰）では、暗黙のバイアスはより複雑であり、ℓ₂（カーネル）またはℓ₁（リッチ）極限のいずれとも一致しない。
• 深さを増すことで、カーネル領域からの脱出が早まり、より高い損失値でもリッチ領域への遷移が可能になる。
• カーネル領域では接線カーネルがほぼ一定であるが、領域を脱出すると顕著に変化する。これは、カーネルの変化が領域遷移の診断指標として有効であることを確認する。
• ロジットをその最小値を中心に再重み付けするスキームにより、数値的安定性が確保され、10⁻¹⁰⁰₀未満の極めて低い損失値でも問題なくシミュレーションが可能になった。