[論文レビュー] Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks

Cong Fang, Jason D. Lee+2 more|arXiv (Cornell University)|Jul 2, 2020

Stochastic Gradient Optimization Techniques被引用数 13

ひとこと要約

本稿は、ネットワーク重みではなく隠れユニット特徴の確率測度を用いて過パラメータ化された深層ニューラルネットワーク（DNN）をモデル化する、新しい平均場フレームワークを導入する。非線形ダイナミクスである「ニューラル特徴フロー」と呼ばれるものを定式化することで、勾配降下による学習がResNetアーキテクチャにおいてグローバルに最小解に収束することを示し、平均場領域における3層を超える過パラメータ化DNNに対して、初めてのグローバル収束証明を提供する。

ABSTRACT

This paper proposes a new mean-field framework for over-parameterized deep neural networks (DNNs), which can be used to analyze neural network training. In this framework, a DNN is represented by probability measures and functions over its features (that is, the function values of the hidden units over the training data) in the continuous limit, instead of the neural network parameters as most existing studies have done. This new representation overcomes the degenerate situation where all the hidden units essentially have only one meaningful hidden unit in each middle layer, and further leads to a simpler representation of DNNs, for which the training objective can be reformulated as a convex optimization problem via suitable re-parameterization. Moreover, we construct a non-linear dynamics called neural feature flow, which captures the evolution of an over-parameterized DNN trained by Gradient Descent. We illustrate the framework via the standard DNN and the Residual Network (Res-Net) architectures. Furthermore, we show, for Res-Net, when the neural feature flow process converges, it reaches a global minimal solution under suitable conditions. Our analysis leads to the first global convergence proof for over-parameterized neural network training with more than $3$ layers in the mean-field regime.

研究の動機と目的

• 過パラメータ化された深層ニューラルネットワークの理論的限界、特に非凸性とグローバル収束保証の欠如を解決すること。
• 中間層の隠れユニットが単一の有効ユニットに収縮するという従来の平均場モデルにおける退化問題を克服すること。
• 凸最適化問題に再定式化可能な連続的で特徴に基づくDNNの表現を構築すること。
• 過パラメータ化DNNの学習過程を捉える非線形ダイナミクス「ニューラル特徴フロー」を確立すること。
• 特にResNetに対して、平均場極限における勾配降下のグローバル収束を証明すること。

提案手法

• ネットワーク重みではなく、隠れユニット出力（特徴）上の確率測度を用いてDNNを連続極限で表現する。
• 学習過程における特徴分布の進化をモデル化する非線形偏微分方程式（McKean-Vlasov型）である「ニューラル特徴フロー」を導入する。
• 特徴上の確率測度の空間における凸最適化問題として訓練目的関数を再定式化し、グローバル収束解析を可能にする。
• 平均場極限での安定性を確保するため、スケーリングされた勾配降下を適用し、離散的学習ダイナミクスと連続的特徴フローを結びつける。
• 有限幅の近似における無限幅ネットワークのフラクチュエーションを制御するために、サブガウス分布およびサブ指数分布の集中不等式を用いる。
• ニューラル特徴フローの長期的挙動を解析することで、適切な仮定の下で最小解への収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 中間層ユニットが単一の有効ユニットに収縮するという問題を回避する、DNNの平均場フレームワークを構築可能か？
• RQ2 提案された特徴ベースの平均場モデルにより、DNNの訓練目的関数を凸に再定式化可能か？
• RQ3 ニューラル特徴フローのダイナミクスは、勾配降下における過パラメータ化DNNの学習軌道を正確に捉えられるか？
• RQ4 適切な条件下で、ResNetのニューラル特徴フローはグローバル最小解に収束するか？
• RQ5 平均場領域において、3層を超える過パラメータ化DNNに対して、グローバル収束を証明することが可能か？

主な発見

• 提案された平均場フレームワークは、特徴上の確率測度を用いてDNNをモデル化し、重みベースの平均場モデルで見られる退化問題を回避する。
• 適切な再パラメータライゼーションの下で、連続的DNN定式化における訓練目的関数は凸となるため、グローバル最適化保証が得られる。
• ニューラル特徴フローは、過パラメータ化DNNの勾配降下における進化を捉え、解析のための連続時間動的システムを提供する。
• ResNetアーキテクチャにおいて、適切な仮定の下で、ニューラル特徴フローはグローバル最小解に収束する。
• 本研究は、平均場領域における3層を超える過パラメータ化深層ニューラルネットワークに対して、初めてのグローバル収束証明を確立する。