[論文レビュー] Bayesian Deep Convolutional Networks with Many Channels are Gaussian Processes

Roman Novak, Lechao Xiao+7 more|arXiv (Cornell University)|Oct 11, 2018

Gaussian Processes and Bayesian Inference被引用数 169

ひとこと要約

本論文は、深層CNNが多数のチャネルを持つ場合にガウス過程へ収束することを証明し、CNNのNN-GP等価性をプーリングの有無にかかわらず拡張し、解析的に扱えないケースに対して蒙テカルロ法を用いて対応するカーネルを推定する方法を導入する。

ABSTRACT

There is a previously identified equivalence between wide fully connected neural networks (FCNs) and Gaussian processes (GPs). This equivalence enables, for instance, test set predictions that would have resulted from a fully Bayesian, infinitely wide trained FCN to be computed without ever instantiating the FCN, but by instead evaluating the corresponding GP. In this work, we derive an analogous equivalence for multi-layer convolutional neural networks (CNNs) both with and without pooling layers, and achieve state of the art results on CIFAR10 for GPs without trainable kernels. We also introduce a Monte Carlo method to estimate the GP corresponding to a given neural network architecture, even in cases where the analytic form has too many terms to be computationally feasible. Surprisingly, in the absence of pooling layers, the GPs corresponding to CNNs with and without weight sharing are identical. As a consequence, translation equivariance, beneficial in finite channel CNNs trained with stochastic gradient descent (SGD), is guaranteed to play no role in the Bayesian treatment of the infinite channel limit - a qualitative difference between the two regimes that is not present in the FCN case. We confirm experimentally, that while in some scenarios the performance of SGD-trained finite CNNs approaches that of the corresponding GPs as the channel count increases, with careful tuning SGD-trained CNNs can significantly outperform their corresponding GPs, suggesting advantages from SGD training compared to fully Bayesian parameter estimation.

研究の動機と目的

• 深いCNNが無限チャネル極限で関数に対する事前分布を理解する動機づけ。
• プーリングの有無にかかわらず、CNNに対する理論的なNN-GP等価性を広い条件下で確立。
• 無限幅極限におけるプーリング、ウェイト共有、平行移動不変性の役割を定量化。
• 解析的形が実現困難なアーキテクチャに対して、CNN-GPカーネルを計算または近似する実用的手法を提供。

提案手法

• CNNにおけるプリアクティベーションが前の活性化に条件づけてガウス分布となることを、共分散がアフィン写像A(K)で与えられるとして導出。
• チャネル数の増加により活性化の共分散K^lが決定論的になることを、C∘A写像を介して示す。
• (C∘A)をK^0上で反復することにより得られる核K_infty^Lを用いて、分布収束としてGPへ収束することを証明。
• プーリングのないCNNは、無限チャネル極限で局所的に接続されたネットワークのGPと同一のNN-GPカーネルを持つことを示す。
• CNN-GP出力をクラス上のGPカーネルへ変換するベクトル化と射影読み出しを記述し、K_infty^Lの正確な形を含めて説明。
• 解析的形が扱いづらい場合にNN-GPカーネルを推定するモンテカルロ法を導入し、MC-GPカーネル推定を通じてプーリングアーキテクチャの実用的なカーネル計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 多数のチャネルを持つ深いCNNは無限チャネル極限でガウス過程に対応するか？
• RQ2 プーリングを伴うCNNは、無限チャネル極限においてプーリングなしのCNNと異なるか？
• RQ3 解析形が複雑すぎるCNNアーキテクチャのGPカーネルをどう計算・近似するか？
• RQ4 ウェイト共有と平行移動同値性は、ベイズ的無限幅CNNカーネルにどのような影響を与えるか？
• RQ5 読み出し戦略（ベクトル化または射影）は、一般的なCNN分類器を反映するクラス上のGPカーネルを生み出せるか？

主な発見

• 多数のチャネルを持つCNNはNN-GP挙動へ収束し、機能に対するガウス過程事前分布を生み出す。
• プーリングなしの場合、CNN-GPは局所的に接続されたネットワークGPと一致し、プーリングと等価性はその領域で無限チャネル効果を持たないことを示唆。
• 平行移動同値性は無限幅ベイズ的取り扱いを変えず、無限チャネル極限におけるCNNとFCNを区別する。
• 解析形が閉じた形でのカーネル推定が困難な場合でもモンテカルロ法によりCNN-GPカーネルを推定でき、プーリングアーキテクチャに対する実用的なカーネル計算を可能にする。
• 有限幅のCNNをSGDで学習させると、無限幅のCNN-GPよりも性能を発揮する場合があり、無限幅ベイズ的見地を超える利点があることを示唆。