[論文レビュー] Scalable Training of Inference Networks for Gaussian-Process Models

Jiaxin Shi, Mohammad Emtiyaz Khan+1 more|arXiv (Cornell University)|May 27, 2019

Gaussian Processes and Bayesian Inference参考文献 53被引用数 4

ひとこと要約

本稿では、関数空間におけるベイジアンフィルタを追跡するための確率的関数的ミラー降下法を用いて、スケーラブルでミニバッチ学習可能なガウス過程モデルの推論ネットワークを提案する。この手法により、インダクティングポイントの制限がないまま出力相関を効率的に維持でき、回帰および分類タスクにおいてスパース変分GP手法を凌駕する柔軟で高容量の事後分布近似が可能になる。

ABSTRACT

Inference in Gaussian process (GP) models is computationally challenging for large data, and often difficult to approximate with a small number of inducing points. We explore an alternative approximation that employs stochastic inference networks for a flexible inference. Unfortunately, for such networks, minibatch training is difficult to be able to learn meaningful correlations over function outputs for a large dataset. We propose an algorithm that enables such training by tracking a stochastic, functional mirror-descent algorithm. At each iteration, this only requires considering a finite number of input locations, resulting in a scalable and easy-to-implement algorithm. Empirical results show comparable and, sometimes, superior performance to existing sparse variational GP methods.

研究の動機と目的

• ミニバッチ設定下で、関数空間における相関を維持することが難しい中で、ガウス過程モデルの柔軟な推論ネットワークの学習に取り組むこと。
• 少数のインダクティングポイントに依存するスパース変分GP手法の限界を克服すること。特に、大規模データセットではしばしばアンダーフィットする問題を解消すること。
• 確率的勾配を用いて、深層ニューラルネットワークをGPモデルの事後分布近似器として、スケーラブルで安定的かつ高性能に学習可能にする。
• インダクティングポイントに基づくGP推論の代替手段としての柔軟性を提供し、深層ニューラルネットワークからの構造的カーネル（例：複雑な構造を持つカーネル）をサポートすること。

提案手法

• 本手法は、計算的に非効率的ではあるが近似のターゲットとして機能するベイジアンフィルタを関数空間で追跡するための確率的関数的ミラー降下法を用いる。
• 各学習ステップで、ミニバッチデータを用いて確率的勾配を計算し、推論ネットワークを更新することで、関数出力間の意味のある相関を保証する。
• 推論ネットワークは、自身の現在の近似からブートストラップすることで学習され、全データパスを必要とせずに反復的改善が可能になる。
• 本手法は、ランダム特徴量拡張や深層畳み込みネットワーク（ConvNets）を含む多様なネットワークアーキテクチャをサポートし、分類タスクに用いられるソフトマックスなどの非共役尤度に対しても対応可能である。
• 教師・生徒フレームワークの観点から本手法を解釈し、『教師』は現在のネットワークから導かれるミラー降下更新であるため、効率的かつスケーラブルである。
• 本手法により、無限大の幅を持つベイジアン畳み込みネットワークにおける深層畳み込みネットワークのGP推論用学習が可能となり、従来のSVGPで見られる数値的不安定性を克服できる。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ確率的勾配を用いて、関数出力間の意味のある相関を維持しながら、GPモデルの柔軟な推論ネットワークを学習できるか？
• RQ2 関数的ミラー降下に基づく学習アルゴリズムは、予測精度および一般化性能の観点で、既存のスパース変分GP手法を上回るか？
• RQ3 本手法は、深層ニューラルネットワークから導かれるような複雑で構造的なカーネルにもスケーラブルに適用可能か、特に分類タスクにおいて有効か？
• RQ4 インダクティングポイントに依存せず、深層畳み込みネットワークをGPモデルの推論ネットワークとして学習可能か？また、その結果、より優れた性能が得られるか？

主な発見

• BikesおよびKeggデータセットにおいて、GPNetはすべての手法の中で最小のRMSEを達成し、特にインダクティングポイント数が少ない場合、SVGPとの性能差が顕著に顕在される。
• SVGPではM=100とM=500の間でRMSEの差が大きいのに対し、GPNetではその差が小さいため、GPNetの性能はインダクティングポイント数に制限されないことが示された。
• MNISTおよびCIFAR10では、GPNetはそれぞれ1.12%および24.63%のテスト誤差率を達成し、スパースGPベースラインを上回る性能を示した。この際、柔軟で深層的な畳み込みネットワークを推論ネットワークとして使用した。
• 本手法は、CNN-GP事前分布に対して深層畳み込みネットワークを効果的に学習し、従来のSVGPがこのようなカーネルでしばしば見られる数値的不安定性を克服した。
• 従来のミニバッチ推論ネットワーク学習で見られた過学習およびアンダーフィット問題（特にFBNNモデルではMが大きくなると性能が低下）を回避した。
• 実験的結果から、GPNetは特に複雑で構造的なカーネルや高次元データに対して、スパースGP手法の柔軟でスケーラブルな代替手段であることが示された。