[論文レビュー] Conditional Neural Processes

Marta Garnelo, Dan Rosenbaum+7 more|arXiv (Cornell University)|Jul 4, 2018

Gaussian Processes and Bayesian Inference参考文献 30被引用数 59

ひとこと要約

条件付きニューラルプロセス（CNPs）は、観測データに条件づけられた関数の分布を学習するニューラルネットワークベースのモデルであり、少数ショット適応、スケーラブルな推論、回帰、分類、画像補完の分野での多様性を提供します。ベイズ的事前分布を明示的には持たず、ニューラルの柔軟性とGP風の条件づけを組み合わせます。

ABSTRACT

Deep neural networks excel at function approximation, yet they are typically trained from scratch for each new function. On the other hand, Bayesian methods, such as Gaussian Processes (GPs), exploit prior knowledge to quickly infer the shape of a new function at test time. Yet GPs are computationally expensive, and it can be hard to design appropriate priors. In this paper we propose a family of neural models, Conditional Neural Processes (CNPs), that combine the benefits of both. CNPs are inspired by the flexibility of stochastic processes such as GPs, but are structured as neural networks and trained via gradient descent. CNPs make accurate predictions after observing only a handful of training data points, yet scale to complex functions and large datasets. We demonstrate the performance and versatility of the approach on a range of canonical machine learning tasks, including regression, classification and image completion.

研究の動機と目的

• GPに触発された条件付けとニューラルネットワークを組み合わせて、データ効率の高い学習を動機づける。
• 観測の固定サイズ埋め込みに条件付ける、スケーラブルで順列不変のアーキテクチャを導入する。
• 回帰、画像補完、およびワンショット分類でCNPsを実証し、柔軟性と効率性を示す。
• Gaussian Processesやメタラーニング手法と比較して、長所とトレードオフを強調する。

提案手法

• 観測値 O に対して f(T) の分布をモデル化する条件付き確率過程 Q_theta を定義する。O および T に対して順列不変性を持つ。
• 各観測 (x_i, y_i) を r_i = h_theta(x_i, y_i) にエンコードし、可換な演算（例: 平均）で固定次元の r に集約する。
• 各ターゲット x in T に対して phi_i = g_theta(x_i, r) を計算し、条件付き出力分布のパラメータ（回帰の場合は平均/分散、分類の場合はロジットなど）を得る。
• O_N の観測のランダムな部分集合に対して、ターゲットの条件付き尤度を最大化することにより訓練し、θ に関して条件付き対数尤度の負を最小化する。
• n 個の観測から m 個のターゲットを予測する際の計算時間を O(n+m) に保ち、計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、明示的なベイズ priors なしで、柔軟でデータ駆動の関数の事前分布を学習できるか？
• RQ2 順列不変でアモルタイズドなアーキテクチャは、限られた観測しかない場合でも新しい入力の関数値を効率的に予測できるか？
• RQ3 GPベースの手法とメタラーニング手法と比較して、CNPsは回帰、分類、画像関連タスクでどのように機能するか？
• RQ4 潜在変数を加えると、スケーラブルな条件付けを維持しつつ、整合性のある多点サンプリングを可能にするか？
• RQ5 観測の量と配置が予測精度と不確実性推定に与える影響は何か？

主な発見

• CNPs は、回帰タスクで少数の観測でも正確な予測を達成し、GP様の不確実性を近似できる。
• 画像補完（MNIST と CelebA）では、CNPs は意味のある平均と不確実性マップを生成し、観測パターンの変化にも柔軟に対応する。
• コンテキストが小さい場合、CNPs はkNNやGPを上回り、コンテキスト点の順序に対して頑健性を維持する。
• 潜在変数拡張は整合的なサンプルを生み出し、観測が増えると不確実性を低減する。
• ワンショット Omniglot分類では、CNPs はいくつかのベースラインよりも大幅に低いテスト時計算量（O(n+m)）で競争力のある精度を達成する。