[論文レビュー] Neural Processes

Marta Garnelo, Jonathan Schwarz+5 more|arXiv (Cornell University)|Jul 4, 2018

Gaussian Processes and Bayesian Inference被引用数 27

ひとこと要約

ニューラルプロセス（NPs）は、ガウス過程のデータ効率性と不確実性推定の利点を、ニューラルネットワークの計算効率性と組み合わせたニューラル潜在変数モデルを導入する。データから暗黙のカーネルを学習し、グローバルな潜在変数を用いたエンコーダ・デコーダアーキテクチャを採用することで、不確実性を伴う高速で柔軟な関数予測が可能となり、回帰、最適化、文脈的バンディットタスクにおいてベースラインを上回る性能を発揮する。

ABSTRACT

A neural network (NN) is a parameterised function that can be tuned via gradient descent to approximate a labelled collection of data with high precision. A Gaussian process (GP), on the other hand, is a probabilistic model that defines a distribution over possible functions, and is updated in light of data via the rules of probabilistic inference. GPs are probabilistic, data-efficient and flexible, however they are also computationally intensive and thus limited in their applicability. We introduce a class of neural latent variable models which we call Neural Processes (NPs), combining the best of both worlds. Like GPs, NPs define distributions over functions, are capable of rapid adaptation to new observations, and can estimate the uncertainty in their predictions. Like NNs, NPs are computationally efficient during training and evaluation but also learn to adapt their priors to data. We demonstrate the performance of NPs on a range of learning tasks, including regression and optimisation, and compare and contrast with related models in the literature.

研究の動機と目的

• ガウス過程の高コストな計算と手作業で設計されたカーネル依存性といった限界を克服するため、ニューラルネットワークベースの代替手法を導入すること。
• ニューラルネットワークの計算効率性とスケーラブルなトレーニングの利点と、確率過程の不確実性推定やテスト時における適応性といった利点を統合すること。
• 再トレーニングを必要とせず、文脈観測に適応する柔軟でデータ駆動型の関数近似を可能にすること。
• 1次元回帰、画像補完、ベイジアン最適化、文脈的バンディットといった多様なタスクにおいて、NPsの有効性を実証すること。

提案手法

• NPsは、グローバルな潜在変数 z を用いて関数の分布をモデル化し、タスク間で共有される構造を捉える。
• エンコーダは文脈点 (x_c, y_c) を処理し、深層ニューラルネットワークを用いて入力を潜在コードにマッピングする。
• アグリゲーター（例：平均プーリング）は、文脈表現を要約し、単一の文脈埋め込みに変換する。この埋め込みは、グローバルな潜在変数 z の条件付けに用いられる。
• デコーダは、文脈埋め込みとグローバルな潜在変数 z の両方に条件付けられて、ターゲット点 (x_t, y_t) の予測を生成する。
• 推論は、1回の順伝播で真の関数の事後分布を近似するアモアタイズド変分推論により実行される。
• モデルは、文脈からのターゲット出力の対数尤度を最大化する尤度ベースの目的関数を用いて、変分下界（ELBO）による最適化でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、ガウス過程と同様に不確実性を伴う関数の分布を表現可能であり、かつ計算効率性に優れるか？
• RQ2 ニューラルモデル内で学習されたデータ駆動型カーネルは、関数近似タスクにおいて、手作業で設計されたカーネルを上回る性能を発揮できるか？
• RQ3 ニューラルプロセスは、1次元回帰、画像補完、ベイジアン最適化といった多様なタスクを、1つの統一されたアーキテクチャで一般化可能か？
• RQ4 少数のショットや文脈的学習の設定において、NPsの性能はMAMLや他の深層潜在変数モデルと比較してどうなるか？

主な発見

• ニューラルプロセスは、ベイジアン最適化と文脈的バンディットタスクで最先端の性能を達成し、MAML や NeuralLinear などの手法を上回るか同等の性能を示した。
• 1次元回帰タスクでは、5000点のテストセットでテスト損失1.04 ± 0.06を達成し、Bayes by Backprop や MAML などのモデルを上回った。
• 画像補完タスクでは、優れた一般化性能を示し、不確実性を考慮した予測のもとで高品質で多様な再構成を生成した。
• ホイールバンディット問題では、MAML や NeuralLinear と同等の性能を示し、累積報酬21.45 ± 1.3を達成した。これは、文脈的意思決定における高い適応性を示している。
• 文脈サイズに応じた効率的なスケーリングが可能であり、標準的なガウス過程の O((n + m)^3) と比較して、推論の計算量は O(n + m) に抑えられた。