[論文レビュー] Stable behaviour of infinitely wide deep neural networks

Stefano Favaro, Sandra Fortini+1 more|arXiv (Cornell University)|Mar 1, 2020

Stochastic Gradient Optimization Techniques参考文献 16被引用数 10

ひとこと要約

この論文は、i.i.d. 且つ対称安定分布に従う重みとバイアスを有する完全結合型深層ニューラルネットワークが、無限幅極限において安定確率過程に分布収束することを確立している。これは既知のガウス過程極限を一般化するものである。極限過程は多変量安定有限次元分布を示し、パラメータは階層ごとの再帰的伝播ルールにより計算可能であり、広い深層ネットワークの解析におけるガウス過程極限の非ガウス的代替手段を提供する。

ABSTRACT

We consider fully connected feed-forward deep neural networks (NNs) where weights and biases are independent and identically distributed as symmetric centered stable distributions. Then, we show that the infinite wide limit of the NN, under suitable scaling on the weights, is a stochastic process whose finite-dimensional distributions are multivariate stable distributions. The limiting process is referred to as the stable process, and it generalizes the class of Gaussian processes recently obtained as infinite wide limits of NNs (Matthews at al., 2018b). Parameters of the stable process can be computed via an explicit recursion over the layers of the network. Our result contributes to the theory of fully connected feed-forward deep NNs, and it paves the way to expand recent lines of research that rely on Gaussian infinite wide limits.

研究の動機と目的

• ガウス過程極限を超えた無限幅深層ニューラルネットワークの理論的理解を拡張すること。
• 分散が無限大である対称安定分布に従う重み・バイアス初期化における深層ネットワークの挙動を調査すること。
• すべての層にわたる同時無限幅スケーリングのもとで、ネットワーク出力の分布収束が成り立つことを厳密に確立すること。
• ネットワークの深さにわたる極限安定過程のパラメータを再帰的に計算する手法を提供すること。
• 訓練済みの畳み込みニューラルネットワークにおける安定分布の実証的証拠を調査し、現実世界の過パラメータ化モデルにおける非ガウス的挙動を示唆すること。

提案手法

• 重みとバイアスを、安定指数 α ∈ (0,2] を持つ i.i.d. 且つ対称安定分布に初期化する。ガウス分布は特別な場合（α=2）として含む。
• 層全体にわたる同時無限幅スケーリングを適用し、逐次的ではなく、有限次元分布の収束を保証する。
• スケールパラメータの階層ごとの再帰的伝播を通じて、ネットワーク出力の極限分布を多変量安定分布として導出する。
• 特性関数と安定分布の安定性性質を用いて、ネットワーク出力過程の分布収束を証明する。
• 対称化された離散スペクトル測度を用いたモンテカルロシミュレーションにより、極限安定過程をシミュレートし、数値的に収束を検証する。
• 最大尤度推定法を用いて、訓練済みの CNN の重み・バイアスに安定分布をフィットさせ、経験的 CDF を用いてガウス分布との適合度を比較する。

実験結果

リサーチクエスチョン

• RQ1 重みとバイアスが i.i.d. 且つ対称安定分布に従い、幅が無限大に近づくとき、完全結合型深層ニューラルネットワークの極限分布は何か？
• RQ2 重み・バイアスの重たい尾部初期化を持つ深層ネットワークの無限幅極限は、古典的なガウス過程極限とどのように異なるか？
• RQ3 極限安定過程のパラメータは、ネットワークの各層にわたって再帰的に計算可能か？
• RQ4 訓練済みの深層ニューラルネットワークは、重み・バイアスの分布がガウス分布よりも安定分布でよりよく近似されるか？
• RQ5 バッチ正則化および適応的最適化手法を用いて ImageNet で訓練された過パラメータ化 CNN において、安定分布の実証的証拠は何か？

主な発見

• i.i.d. 且つ対称安定分布に従う重み・バイアスを有する深層ニューラルネットワークの無限幅極限は、多変量安定有限次元分布を示す安定確率過程に分布収束する。
• 極限過程は既知のガウス過程極限を一般化しており、安定指数 α = 2 の場合にのみガウス分布が回復される。
• 極限安定過程のパラメータは、各層を通過するスケールおよびスペクトル測度を再帰的に伝播させる式により計算可能である。
• 数値シミュレーションにより、中程度の幅（n=300）でも有限幅ネットワーク出力と理論的安定極限との間に良好な一致が得られた。
• VGG-16、ResNet-50、ResNet-101 の訓練済みモデルの経験的分析から、重み・バイアスの分布がしばしば安定指数 α < 2 を示し、非ガウス的挙動を示していることが判明した。
• 適合度検定の結果、安定分布はガウス分布よりも極値における尾部挙動をよりよく捉えていることが示された。