[論文レビュー] The Implicit Bias of Depth: How Incremental Learning Drives Generalization

Daniel Gissin, Shai Shalev‐Shwartz+1 more|arXiv (Cornell University)|Sep 26, 2019

Stochastic Gradient Optimization Techniques参考文献 19被引用数 12

ひとこと要約

この論文は、深さが、特異値または重みの大きさの順に段階的に学習可能であるように、深さ線形モデルにおける段階的学習ダイナミクスを形式化している。主な貢献は、動的深さ分離結果である。浅いモデルでは段階的学習を達成するためには指数的に小さい初期化が必要であるが、より深いモデルでは多項式的に小さい初期化で十分であり、実用的な学習設定でも現象が実現可能になる。

ABSTRACT

A leading hypothesis for the surprising generalization of neural networks is that the dynamics of gradient descent bias the model towards simple solutions, by searching through the solution space in an incremental order of complexity. We formally define the notion of incremental learning dynamics and derive the conditions on depth and initialization for which this phenomenon arises in deep linear models. Our main theoretical contribution is a dynamical depth separation result, proving that while shallow models can exhibit incremental learning dynamics, they require the initialization to be exponentially small for these dynamics to present themselves. However, once the model becomes deeper, the dependence becomes polynomial and incremental learning can arise in more natural settings. We complement our theoretical findings by experimenting with deep matrix sensing, quadratic neural networks and with binary classification using diagonal and convolutional linear networks, showing all of these models exhibit incremental learning.

研究の動機と目的

• 深さ線形モデルにおける段階的学習ダイナミクス、特に特徴量や特異値が複雑さの順に学習されるという概念を形式化すること。
• 深さと初期化スケールが線形モデルにおける段階的学習の出現に与える影響を調査すること。
• 浅いモデルと同程度の容量を持つにもかかわらず、より深いモデルがなぜ一般化性能に優れるかを理論的に裏付ける基盤を確立すること。
• 行列センシング、2次元ネットワーク、畳み込みネットワークを含む多様なアーキテクチャにおいて、段階的学習を経験的に検証すること。

提案手法

• 最適化中に特異値または特徴量重みが大きさの順に段階的に収束する様子を、段階的学習ダイナミクスとして定義する。
• 簡略化された深さ線形モデルにおける勾配フローのダイナミクスを分析し、段階的学習が出現する条件を導出する。
• 動的深さ分離結果を証明する：浅いモデルでは段階的学習を達成するためには指数的に小さい初期化が必要だが、より深いモデルでは多項式的に小さい初期化で十分である。
• 行列センシング、2次元ニューラルネットワーク、対角または畳み込み型パrameterizationを用いた線形ネットワークを用いて、理論的知見をより深いモデルに拡張する。
• 小さなデータセット上で勾配降下法による経験的訓練を用い、特異値やフーリエ係数の変化を追跡することで、多様なアーキテクチャにおける段階的学習を示す。
• 畳み込みネットワークと対角ネットワークとの間のフーリエ変換による関係を通じて、畳み込みネットワークの最適化ダイナミクスがスパース解への内蔵的バイアスと関連していることを示す。

実験結果

リサーチクエスチョン

• RQ1 段階的学習は、深さ線形モデルにおいてどのような条件下で出現するか？
• RQ2 モデルの深さは、段階的学習が発生するための初期化スケールにどのように影響するか？
• RQ3 行列センシングや畳み込みネットワークのような実用的モデルでも、段階的学習ダイナミクスが観察可能か？
• RQ4 最適化ダイナミクスとスパースで一般化可能な解への内蔵的バイアスの関係は何か？
• RQ5 一般化能力の観点から、深さの内蔵的バイアスは浅いモデルのそれと比べてどう異なるか？

主な発見

• 浅いモデル（深さ2）では、段階的学習ダイナミクスが出現するためには指数的に小さい初期化が必要であり、実用的な設定では現象が生じにくい。
• より深いモデルでは、多項式的に小さい初期化で十分であり、より自然な学習環境でも段階的学習が実現可能である。
• 行列センシング、2次元ネットワーク、対角／畳み込み型線形ネットワークにおける経験的結果は、すべて明確な段階的学習を示しており、大きな特異値や特徴量重みが最初に学習されている。
• 2値分類タスクにおいて、小さな重みで初期化されたより深いモデルは、スパースな真値解と強く相関するが、浅いモデルは最大マージン解に収束する。
• 畳み込みネットワークでは周波数ドメインで段階的学習が観察され、大きな振幅のフーリエ係数が小さな係数よりも先に学習される。これは対角ネットワークのダイナミクスと類似している。
• 理論的および経験的結果から、深さの内蔵的バイアスが勾配降下のダイナミクスに起因し、大きさの順に成分を段階的に学習することで単純な解を好むことが確認された。