[論文レビュー] Non-Gaussian processes and neural networks at finite widths

Sho Yaida|arXiv (Cornell University)|Sep 30, 2019

Gaussian Processes and Bayesian Inference参考文献 22被引用数 12

ひとこと要約

本稿は、無限幅ニューラルネットワークにおけるガウス過程事前分布を有限幅ネットワークへ拡張するための摂動的フレームワークを提案する。非ガウス的前活性化分布を、累積量の再帰的で再正規化群に類似た流れによってモデル化することで、非ガウス性を段階的に追跡する。この手法により、閉形式の再帰的方程式（R1, R2, R3）が導出され、非ガウス的で弱い事前分布を用いたベイズ推論を可能にするとともに、カーネル関数および予測分布に対する有限幅補正を定量的に評価できる。

ABSTRACT

Gaussian processes are ubiquitous in nature and engineering. A case in point is a class of neural networks in the infinite-width limit, whose priors correspond to Gaussian processes. Here we perturbatively extend this correspondence to finite-width neural networks, yielding non-Gaussian processes as priors. The methodology developed herein allows us to track the flow of preactivation distributions by progressively integrating out random variables from lower to higher layers, reminiscent of renormalization-group flow. We further develop a perturbative procedure to perform Bayesian inference with weakly non-Gaussian priors.

研究の動機と目的

• 無限幅ニューラルネットワークとガウス過程の間の有名な対応関係を、有限幅ネットワークへ拡張し、非ガウス的補正を組み込むこと。
• 層間を横断する前活性化分布の進化を、再正規化群の流れに類似た粗挙げプロセスとしてモデル化すること。
• 有限幅ネットワークにおける弱い非ガウス的事前分布を用いた、体系的な摂動的手法によるベイズ推論を開発すること。
• 統計的モーメント（特に累積量）が低層から高層へと流れることを追跡する再帰的方程式を導出すること。
• ガウス近似を超えて、ニューラルネットワークにおけるカーネル関数および予測分布に対する有限幅補正を定量化すること。

提案手法

• 前活性化累積量の層間流れを支配する再帰的方程式（R1, R2, R3）を導出。非ガウス性は高次モーメントを通じて捉える。
• ウィックの縮約と結合相関関数（累積量）を用いて、深層ネットワークにおける前活性化の高次モーメントを体系的に計算する。
• 幅Nの関数としてε = 1/Nを摂動変数として用い、有限幅補正を無限幅ガウス極限からの小さなずれとして扱う。
• 層ごとの分布の流れを、走る結合定数が非ガウス性パラメータを表す再正規化群に類似た枠組みにマッピングする。
• 有限幅補正を用いてガウス過程のベイズ推論を非ガウス的事前分布へ拡張。予測平均と共分散の修正に用いる。
• 逆カーネル行列と累積量駆動補正項を含む、修正された予測平均式（NGPM’）を導出する。

実験結果

リサーチクエスチョン

• RQ1 有限幅ニューラルネットワークにおける非ガウス的事前分布を、無限幅ガウス過程極限を超えて体系的に導出する方法は何か？
• RQ2 前活性化分布の層間流れを、再正規化群の流れに類似た粗挙げプロセスとしてモデル化できるか？
• RQ3 深層ネットワークにおいて、低層から高層へと累積量（非ガウス性）がどのように進化するかを支配する再帰的方程式は何か？
• RQ4 有限幅補正は、ベイズニューラルネットワークにおけるカーネル関数および予測分布にどのように影響を与えるか？
• RQ5 摂動的補正を用いて、弱い非ガウス的事前分布へのベイズ推論を一貫して拡張できるか？

主な発見

• 本稿は、層を跨ぐ前活性化累積量の摂動的進化を記述する3つの再帰的方程式（R1, R2, R3）を導出し、有限幅ネットワークにおける非ガウス性の体系的追跡を可能にした。
• カーネル関数の有限幅補正は高次累積量によって捉えられ、1/Nの1次補正について明示的な表現が導出された。
• ベイズ推論における予測平均は、トレーニングデータカーネルの逆行列と累積量駆動項を含む摂動的補正項によって修正され、新たな予測モデル（NGPM’）が得られた。
• この手法はN→∞の極限で既知の無限幅結果を正確に再現し、有限幅補正に対する一貫した摂動的フレームワークを提供した。
• このフレームワークは一般性を有し、重みとバイアスの統計的構造とその累積量にのみ依存するため、任意の活性化関数に適用可能である。
• 深層ネットワークの層間ダイナミクスと再正規化群の流れとの間で、形式的な類似性を確立した。走る結合定数が各スケールにおける非ガウス性を定量化している。