[論文レビュー] The Gaussian Neural Process

Wessel P. Bruinsma, James Requeima+3 more|arXiv (Cornell University)|Jan 10, 2021

Gaussian Processes and Bayesian Inference参考文献 15被引用数 5

ひとこと要約

本論文は、予測分布をガウス過程として直接パrameter化することで、正確な尤度計算と予測相関のモデリングを可能にする、新しいメタラーニングモデルであるガウス過程ニューラルプロセス（GNP）を紹介する。翻訳不変性と汎用近似を組み合わせることで、1次元回帰ベンチマークにおいて、従来のニューラルプロセスを上回る最先端の性能を達成し、訓練範囲外の一般化性能も優れている。

ABSTRACT

Neural Processes (NPs; Garnelo et al., 2018a,b) are a rich class of models for meta-learning that map data sets directly to predictive stochastic processes. We provide a rigorous analysis of the standard maximum-likelihood objective used to train conditional NPs. Moreover, we propose a new member to the Neural Process family called the Gaussian Neural Process (GNP), which models predictive correlations, incorporates translation equivariance, provides universal approximation guarantees, and demonstrates encouraging performance.

研究の動機と目的

• 条件付きニューラルプロセス（CNPs）が予測相関をモデリングできず、一貫性のあるサンプルを生成できないという限界を解消すること。
• 真の確率的過程の事後予測写像をガウス過程によって直接近似するメタラーニングフレームワークの開発。
• 関数的KLダイバージェンスを有限次元分布に緩和することで、実用的で有限かつ安定した訓練目的を提供すること。
• 閉形式の尤度を維持しつつ、任意の真のGP予測写像の汎用近似を可能にするモデルのサポート。
• 提案されたGNPが、尤度および事前共分散構造の両面で真のGP予測写像を回復できるかどうかを実証すること。

提案手法

• 関数的KLダイバージェンスを、有限次元分布（f.d.d.s）上のKLダイバージェンスの最小化によって緩和する。
• 予測分布をニューラルネットワークでパラメータ化された平均および共分散関数を持つガウス過程としてモデル化するガウス過程ニューラルプロセス（GNP）を導入する。
• ConvCNPにインspiredされたカーネルベースのアテンション機構を用いて、入力のシフトに対して不変性を確保する翻訳不変性を実装する。
• モンテカルロ近似を必要としない閉形式の尤度を用いて訓練を実施し、正確な最適化を可能にする。
• 理論的基盤として関数的KL目的を採用し、目的の有限性と安定性を保証するため、有限次元への投影に緩和を適用する。
• コンテキスト集合を処理し、GPパラメータ（平均および共分散）を出力するニューラルネットワークエンコーダを用いることで、エンドツーエンドの訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 直接ガウス過程をパラメータ化するニューラルプロセスモデルが、標準的なCNPsよりも優れた予測不確実性のキャリブレーションと相関モデリングを達成できるか？
• RQ2 関数的KL目的の緩和が、確率的過程を用いたメタラーニングにおける有限かつ安定した訓練目的を提供するか？
• RQ3 GNPの汎用近似保証が、真のガウス過程の予測写像の回復によって実証可能か？
• RQ4 既存のニューラルプロセス変種と比較して、GNPの尤度および分布外および外挿タスクにおける一般化性能はいかがなものか？
• RQ5 翻訳不変性を組み込むことで、少数のサンプルでの回帰タスクにおける一般化性能とサンプルの一貫性が向上するか？

主な発見

• 補間タスクではGNPがテスト尤度（log-likelihood）0.70 ± 0.005を達成し、ConvCNP（−0.80 ± 0.01）およびANP（−0.61 ± 0.01）を上回った。
• 外挿タスクではGNPが尤度0.44 ± 0.003を達成し、ConvCNP（−1.41 ± 0.007）およびANP（−1.31 ± 0.005）を著しく上回った。
• GNPは尤度および事前共分散関数の両面で真のGP予測写像を回復し、汎用近似の能力を実証した。
• 予測相関をモデリングできる能力のおかげで、標準的なCNPsとは異なり、一貫性があり多様なサンプルを生成した。
• 閉形式の尤度により、潜在変数に基づくNP変種の非可解性の問題を回避し、安定かつ効率的な訓練が可能になった。
• 実証結果から、GNPは訓練範囲外の入力に対しても高い尤度と低い不確実性を示し、優れた一般化性能を発揮することがわかった。