[論文レビュー] Predicting the Outputs of Finite Networks Trained with Noisy Gradients

Gadi Naveh, Oded Ben-David+2 more|arXiv (Cornell University)|May 4, 2021

Gaussian Processes and Bayesian Inference参考文献 34被引用数 8

ひとこと要約

この論文は、ノイズのある勾配、重み減衰、有限な幅を持つ深層ニューラルネットワーク（DNN）の出力を予測するための分析的枠組みを導入する。有限幅の極限において、このようなネットワークがニューラルネットワークガウス過程（NNGP）に収束することを示し、ニューラルタングェントカーネル（NTK）には収束しない。任意の活性化関数および深さに対して、有限幅補正（FWC）を導出し、実際のネットワーク出力を高精度に予測できることを示し、画像分類においてGPベースラインよりも顕著に性能を向上させることを明らかにする。

ABSTRACT

A recent line of works studied wide deep neural networks (DNNs) by approximating them as Gaussian Processes (GPs). A DNN trained with gradient flow was shown to map to a GP governed by the Neural Tangent Kernel (NTK), whereas earlier works showed that a DNN with an i.i.d. prior over its parameters maps to the so-called Neural Network Gaussian Process (NNGP). Here we consider a DNN training protocol, involving noise, weight decay and finite width, whose outcome corresponds to a certain non-Gaussian stochastic process. An analytical framework is then introduced to analyze this non-Gaussian process, whose deviation from a GP is controlled by the finite width. Our contribution is three-fold: (i) In the infinite width limit, we establish a correspondence between DNNs trained with noisy gradients and the NNGP, not the NTK. (ii) We provide a general analytical form for the finite width correction (FWC) for DNNs with arbitrary activation functions and depth and use it to predict the outputs of empirical finite networks with high accuracy. Analyzing the FWC behavior as a function of n, the training set size, we find that it is negligible for both the very small n regime, and, surprisingly, for the large n regime (where the GP error scales as O(1/n)). (iii) We flesh-out algebraically how these FWCs can improve the performance of finite convolutional neural networks (CNNs) relative to their GP counterparts on image classification tasks.

研究の動機と目的

• ノイズのある勾配と重み減衰で訓練された有限幅DNNの統計的挙動を理解すること。これは、ガウス過程（GP）の挙動とは逸脱する。
• そのようなDNNと無限幅極限におけるニューラルネットワークガウス過程（NNGP）との理論的対応関係を確立すること。
• 任意の活性化関数およびネットワーク深さに適用可能な、有限幅補正（FWC）の一般解析的表現を導出すること。
• FWCが有限ネットワークの予測性能に与える影響を定量化すること、特にGP近似との比較において。
• FWCが畳み込みニューラルネットワーク（CNN）の一般化性能をどのように向上させるかを代数的に示すこと。

提案手法

• ノイズのある勾配と重み減衰で訓練されたDNNにおける有限幅補正（FWC）の一般解析的表現を導出する。これは任意の活性化関数および深さに適用可能である。
• 無限幅極限の周りでの摂動展開を用いて、NNGPからの逸脱をモデル化し、有限幅に起因する非ガウス的効果を捉える。
• 無限幅極限において、DNNの出力分布がNTKではなくNNGPに収束することを確立する。
• FWCフレームワークを用いて、さまざまなアーキテクチャとデータセットで実証された有限幅ネットワークの出力を高精度に予測する。
• FWCのトレーニングセットサイズnに 따른スケーリングを分析し、小nおよび大nの両方の状態で補正が無視できる大きさであることを示す。
• 代数的に、FWCがGPの対応物に比べてCNNの一般化性能をどのように向上させるかを示す。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある勾配と重み減衰で訓練されたDNNは、無限幅極限においてNNGPに収束するか、それともNTKに収束するか？
• RQ2 任意の活性化関数およびネットワーク深さに対して、有限幅補正（FWC）の一般解析的表現を導出可能か？
• RQ3 FWCはトレーニングセットサイズnにどのように依存するか？また、小nおよび大nの両状態における予測精度への影響は何か？
• RQ4 FWCは、画像分類タスクにおける有限CNNの性能を、そのGP近似に対してどの程度向上させるか？
• RQ5 FWCを代数的に畳み込みアーキテクチャの分析に組み込むにはどうすればよいか？これにより、GPモデルを越えた一般化の理由を説明できるか？

主な発見

• 無限幅極限において、ノイズのある勾配と重み減衰で訓練されたDNNは、ニューラルネットワークガウス過程（NNGP）に収束するが、ニューラルタングェントカーネル（NTK）には収束しない。
• 導出された有限幅補正（FWC）フレームワークは、さまざまなアーキテクチャおよび活性化関数において、実際の有限幅ネットワークの出力を高精度に予測できる。
• FWCは、トレーニングセットサイズnが小さい場合および大きい場合の両方で無視できる大きさであり、GP誤差がO(1/n)に比例することから、データセットサイズに対して頑健であることが示された。
• FWCの大きさは小さいものの、画像分類ベンチマークにおいて、そのGP対応物よりも有限畳み込みニューラルネットワーク（CNN）の性能を顕著に向上させている。
• FWCフレームワークにより、有限幅効果が非自明であり、有限CNNがGP近似を上回る一般化性能を示す理由を代数的に解明できた。
• 本研究は、ノイズのある学習を伴う有限幅DNNとNNGPとの間の原理的で分析的な関係を確立し、FWCがGPベースの予測に対する体系的な補正を提供することを示した。