[論文レビュー] Steps Toward Deep Kernel Methods from Infinite Neural Networks

Tamir Hazan, Tommi Jaakkola|arXiv (Cornell University)|Aug 20, 2015

Gaussian Processes and Bayesian Inference参考文献 25被引用数 55

ひとこと要約

本稿では、ガウス過程から導かれた確率的カーネルを用いて、複数層を持つ深層無限ニューラルネットワークをモデル化し、無限の容量を持ちながらも過学習を回避するカーネルベースの学習を可能にした。アルゴリズム的安定性を用いて一般化境界を確立し、非線形性や局所的不変性（例：畳み込み構造）がフレームワークに組み込まれる仕組みを示した。

ABSTRACT

Contemporary deep neural networks exhibit impressive results on practical problems. These networks generalize well although their inherent capacity may extend significantly beyond the number of training examples. We analyze this behavior in the context of deep, infinite neural networks. We show that deep infinite layers are naturally aligned with Gaussian processes and kernel methods, and devise stochastic kernels that encode the information of these networks. We show that stability results apply despite the size, offering an explanation for their empirical success.

研究の動機と目的

• 大規模なパラメータ数を有するにもかかわらず、深層ニューラルネットワークの一般化行動を説明すること。
• 単一層モデルにとどまらない、多層アーキテクチャへの無限ニューラルネットワーク理論の拡張。
• ガウス過程を用いて深層学習のインダクティブバイアスを捉えるカーネルベースのフレームワークの構築。
• アルゴリズム的安定性を用いて、無限深さのネットワークに対する一般化境界の導出。
• 非線形性および局所的不変性（例：畳み込み的不変性）を無限ネットワークフレームワークに統合すること。

提案手法

• 2つの無限に広い隠れ層の情報を符号化するガウス過程から導かれた確率的カーネルを導出する。
• ガウス測度を用いた重み空間上の積分表現を用いて、最初の層の活性化関数をモデル化する。
• 2番目の層をガウス過程の期待値として表現し、確率的カーネル関数を構築する。
• ボッハナーの定理を適用して、シフト不変な共分散関数の不偏推定器を取得し、効率的なカーネル近似を実現する。
• 安定性に基づく一般化境界を持つ正則化損失最小化フレームワークを導入する。
• 非線形性および局所的不変性（畳み込みニューラルネットワークに類似）をフレームワークに拡張する。

実験結果

リサーチクエスチョン

• RQ1 無限深さのニューラルネットワークを、表現力の損なわれない形でカーネル法でモデル化する方法は何か？
• RQ2 無限に多くのパラメータを持つにもかかわらず、なぜ深層無限ネットワークは過学習をしないのか？
• RQ3 ガウス過程を用いて、ニューラルネットワークの複数の無限層に階層的構造を定義できるか？
• RQ4 非線形性および局所的不変性（例：畳み込み的構造）を無限ネットワークフレームワークに統合する方法は何か？
• RQ5 アルゴリズム的安定性を用いて、無限深さのネットワークの学習に一般化保証を導出できるか？

主な発見

• ガウス過程から導かれた提案された確率的カーネルは、深層ネットワークにおける2つの無限に広い隠れ層の情報を効果的に符号化した。
• アルゴリズム的安定性を用いることで、無限の容量を持つにもかかわらず、深層無限ネットワークの一般化性能を説明できる。
• 正則化損失最小化の安定性に基づく一般化境界が得られ、深層ネットワークの経験的頑健性を支持する。
• 非線形性および局所的不変性（畳み込みニューラルネットワークに類似）が、無限ネットワークフレームワークに自然に組み込まれる。
• ボッハナーの定理を用いて、シフト不変カーネルの不偏推定器が導出され、効率的なカーネル近似が可能になった。
• フレームワークは2層を超えて拡張可能であるが、非線形性を伴うより深い層の解析的表現は未解決の問題のままである。