[論文レビュー] Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics

Taiji Suzuki|arXiv (Cornell University)|Jul 11, 2020

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、無限次元のランジュバン力学を用いて重み最適化を輸送マップ推定問題として定式化することにより、深層ニューラルネットワークの学習を分析する新しいフレームワークを提案する。これにより、有限幅および無限幅ネットワークの両方において、グローバル収束性と高速な一般化誤差バウンドが達成され、分類では指数的収束、回帰ではミニマックス最適レートを達成する。

ABSTRACT

We introduce a new theoretical framework to analyze deep learning optimization with connection to its generalization error. Existing frameworks such as mean field theory and neural tangent kernel theory for neural network optimization analysis typically require taking limit of infinite width of the network to show its global convergence. This potentially makes it difficult to directly deal with finite width network; especially in the neural tangent kernel regime, we cannot reveal favorable properties of neural networks beyond kernel methods. To realize more natural analysis, we consider a completely different approach in which we formulate the parameter training as a transportation map estimation and show its global convergence via the theory of the infinite dimensional Langevin dynamics. This enables us to analyze narrow and wide networks in a unifying manner. Moreover, we give generalization gap and excess risk bounds for the solution obtained by the dynamics. The excess risk bound achieves the so-called fast learning rate. In particular, we show an exponential convergence for a classification problem and a minimax optimal rate for a regression problem.

研究の動機と目的

• 有限幅ネットワークと無限幅ネットワークの両方の分析を統一することで、深層学習一般化の理論的分析におけるギャップを埋める。
• グローバル収束を保証するために無限幅を必要とする既存のフレームワーク（平均場理論やニューラル接線カーネル（NTK））の制限を克服する。
• 核法のNTK領域における制限を避ける高速な学習レートを達成する一般化誤差バウンドを提供する。
• 過パラメータ化や次元依存の収束レートに依存せずに、深層ネットワークにおける非凸最適化の分析を可能にする。
• 非パラメトリックベイズ推定に接続することで、最適化と一般化の理論的理解を統合する。

提案手法

• ネットワーク重みを再生核ヒルベルト空間（RKHS）の要素とみなすことにより、パラメータ空間における輸送マップ推定問題として深層学習の訓練を定式化する。
• 輸送マップ推定を解くために無限次元ランジュバン力学を適用し、確率的ダイナミクスを活用してグローバル収束を保証する。
• McKean–Vlasovダイナミクスとエルゴード性の理論を用いて、ネットワーク幅に依存しないグローバル収束を確立する。
• 解を非パラメトリックベイズガウス過程推定器に関連付けることで、一般化誤差バウンドを導出する。
• 生徒・教師設定とRKHSに基づく正則化を用いて、一般化誤差のバイアス項とバリアンス項をバウンドする。
• 正則化パラメータ、標本サイズ、カーネル作用素の固有値減衰の間の相互作用を分析することで収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 無限幅を要件としない非凸深層学習最適化のグローバル収束を確立できるか？
• RQ2 狭いネットワークと広いネットワークの両方において、統一的なフレームワークで高速な学習レートを達成する一般化誤差バウンドを導出できるか？
• RQ3 提案されたランジュバン力学に基づくアプローチは、NTKや平均場理論と比較して、一般化性能や収束性においてどのように異なるか？
• RQ4 無限次元ランジュバン力学の解と非パラメトリックベイズ推定の関係は何か？
• RQ5 このフレームワークは回帰においてミニマックス最適レートを達成でき、分類において指数的収束を達成できるか？

主な発見

• 提案フレームワークは、無限次元ランジュバン力学を用いることで、有限幅および無限幅ニューラルネットワークの両方においてグローバル収束を達成し、ネットワークサイズに依存しない収束レートを実現する。
• 回帰において、過剰リスクバウンドがミニマックス最適レートに達しており、統計的効率性が確認される。
• 分類において、生徒・教師設定下で一般化誤差が指数的に高速に収束するため、強力な一般化性能が示される。
• 一般化誤差バウンドは高速な学習レートを達成しており、過剰リスクが $ \max\{\lambda^{-\tilde{\alpha}}\beta^{-1}, \lambda^{\theta}, n^{-\frac{1}{2-s}}\} $ として減少する。これは標本サイズおよび正則化に有益な依存関係を示す。
• 平均場理論やNTK理論とは異なり、無限幅極限を必要としないため、狭いネットワークと広いネットワークの両方の分析を統一する。
• ランジュバンダイナミクスの解が非パラメトリックベイズガウス過程推定器と密接に関連していることが示され、タイトな一般化バウンドが可能になる。