[論文レビュー] Comparing Dynamics: Deep Neural Networks versus Glassy Systems

Marco Baity‐Jesi, Levent Sagun+7 more|Mar 19, 2018

Time Series Analysis and Forecasting被引用数 20

ひとこと要約

この論文は、統計物理学的手法を用いて、過パラメータ化された深層ニューラルネットワーク（DNN）の学習ダイナミクスをガラス的系と比較する。DNNは、平坦な方向の増加に起因し、損失関数の底で遅い拡散的ダイナミクスを示すが、障壁の越えは見られない。これは、平均場ガラス的系とは一部類似する老化行動を示すものの、本質的に異なる統計的性質を持つことを示している。

ABSTRACT

We analyze numerically the training dynamics of deep neural networks (DNN) by using methods developed in statistical physics of glassy systems. The two main issues we address are (1) the complexity of the loss landscape and of the dynamics within it, and (2) to what extent DNNs share similarities with glassy systems. Our findings, obtained for different architectures and datasets, suggest that during the training process the dynamics slows down because of an increasingly large number of flat directions. At large times, when the loss is approaching zero, the system diffuses at the bottom of the landscape. Despite some similarities with the dynamics of mean-field glassy systems, in particular, the absence of barrier crossing, we find distinctive dynamical behaviors in the two cases, showing that the statistical properties of the corresponding loss and energy landscapes are different. In contrast, when the network is under-parametrized we observe a typical glassy behavior, thus suggesting the existence of different phases depending on whether the network is under-parametrized or over-parametrized.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）が損失関数の地形を探索する際に、ガラス的系と類似したダイナミクス的性質を示すかどうかを調査すること。
• 過パラメータ化が、パラメータ数が不足しているネットワークと比較して損失関数の統計的性質にどのように影響を与えるかを特定すること。
• 不規則系の統計物理学的手法を用いて、DNN学習中に障壁越えが発生するかしないかを分析すること。
• DNNにおける老化ダイナミクスと遅い緩和が、ガラス的挙動に起因するのか、それとも過パラメータ化に起因する特異なメカニズムに起因するのかを同定すること。
• ネットワークの容量と地形構造に基づいて、容易な学習領域と困難な学習領域の間の相転移が存在するかを調査すること。

提案手法

• 複数のアーキテクチャとデータセットを用いた確率的勾配降下法（SGD）を用いたDNNの学習ダイナミクスの数値的分析。
• ガラス的系の統計物理学的手法の適用、特に時間相関関数と平均二乗変位の分析。
• 時間依存相関関数 $\Delta(t_w, t_w + t)$ を用いた老化行動の検出と、ガラス的・非ガラス的ダイナミクスの区別。
• モデルAのノード数を減らすことにより、過パラメータ化とパラメータ不足のネットワーク間の損失地形特性を比較。
• 小時間における平均二乗変位の収束を用いたエドワーズ＝アンドリューズパラメータと局所的極小値への閉じ込めの調査。
• 大時間における相関関数 $\Delta(t_w, t_w + t)$ の形状の検討により、DNNと平均場ガラス的系との間の定性的な差を評価。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたDNNの学習ダイナミクスは、平均場ガラス的系のそれとどの程度類似しているか？
• RQ2 DNNにおいて障壁越えが見られないことは、ガラス的系とは本質的に異なる損失地形の統計的構造を示唆するのか？
• RQ3 過パラメータ化が、平坦な方向の出現とそれに伴う遅いダイナミクスの発現にどのように影響を与えるか？
• RQ4 DNNにおいて「容易な」学習フェーズ（過パラメータ化）と「困難な」学習フェーズ（パラメータ不足）の間の相転移が存在するか？
• RQ5 DNNのダイナミクス的挙動は、局所的極小値へのガラス的閉じこめではなく、広大で平坦な吸引域の存在によって説明可能か？

主な発見

• 学習中に、DNNは平坦な方向の増加に起因し、損失関数の底で拡散的ダイナミクスを示すようになる。
• 障壁越えはDNN学習において顕著な役割を果たさず、深いつながりのない局所的極小値による系の閉じこめがないことと整合的である。
• 過パラメータ化されたネットワークでは、近似的にゼロの損失に達し、老化に類似したダイナミクスを示すが、平均場ガラス的系とは異なる統計的性質を示す。
• ネットワークがパラメータ不足の場合は、小時間における平均二乗変位が収束し、$t_w$ 依存の増加を示すため、閉じこめとガラス的老化行動が示される。
• パラメータ不足のネットワークでは損失関数がゼロに達せず、漸近的に高い値に近づく傾向があるため、一般化性能が低い、または収束が遅いと示唆される。
• 著者らは、『容易な』フェーズ（過パラメータ化、平坦な地形、高速な学習）と『困難な』フェーズ（パラメータ不足、粗い地形、ガラス的ダイナミクス）の間の相転移が存在すると仮説を立てており、組合せ最適化における相転移に類似している。