[論文レビュー] The Functional Neural Process

Christos Louizos, Xiahan Shi+2 more|arXiv (Cornell University)|Jun 19, 2019

Gaussian Processes and Bayesian Inference参考文献 54被引用数 14

ひとこと要約

この論文では、グローバルな潜在変数を必要とせず、局所的潜在変数間の依存関係グラフを学習することで関数の分布をモデル化する、交換可能なストキャスティック過程の新規な族、Functional Neural Processes (FNPs) を提案する。FNPs はミニバッチ最適化によりスケーラブルな学習を実現し、Neural Processes よりもより頑健な不確実性推定を示すが、回帰および分類性能においても競争力のある性能を発揮する。

ABSTRACT

We present a new family of exchangeable stochastic processes, the Functional Neural Processes (FNPs). FNPs model distributions over functions by learning a graph of dependencies on top of latent representations of the points in the given dataset. In doing so, they define a Bayesian model without explicitly positing a prior distribution over latent global parameters; they instead adopt priors over the relational structure of the given dataset, a task that is much simpler. We show how we can learn such models from data, demonstrate that they are scalable to large datasets through mini-batch optimization and describe how we can make predictions for new points via their posterior predictive distribution. We experimentally evaluate FNPs on the tasks of toy regression and image classification and show that, when compared to baselines that employ global latent parameters, they offer both competitive predictions as well as more robust uncertainty estimates.

研究の動機と目的

• グローバルな潜在変数や重みに関する明示的な事前分布に依存せずに、関数の分布をモデル化する柔軟でスケーラブルなストキャスティック過程の開発。
• 自律走行などの安全が重要な応用分野において、深層学習モデルの不確実性推定の改善。
• 関数近似モデルの効率的なミニバッチ学習を実現しつつ、交換可能性と一貫性を維持すること。
• 局所的潜在変数間の構造的依存関係グラフを通じて、誘導的バイアスのより簡単な統合を可能にすること。
• 回帰および画像分類タスクにおいて、競争力のある性能と改善された不確実性の定量化を示すこと。

提案手法

• FNPs は、参照集合 R を用いて予測を条件づけることにより、局所的潜在変数間の依存関係の有向グラフを学習することで関数をモデル化する。
• モデルはグラフアテンション機構を用いて点間の依存関係を計算し、グラフ内の親ノードに基づいて潜在変数をパラメータ化する。
• 事後予測分布は、参照集合と観測済みの訓練データに条件づけて計算され、不確実性を考慮した予測が可能になる。
• 明示的なグローバルな潜在変数を避ける一方で、関係性を持つ局所的潜在表現に依存し、オートエンコーダー風のモデルに類似する。
• モデルはミニバッチ最適化により学習され、大規模データセットへのスケーラビリティが実現される。
• FNP+ はバッチごとにランダムにサンプリングされた参照集合を用い、ストキャスティック過程のアンサンブルを近似する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな潜在変数を明示的に含まずに、交換可能性と一貫性を維持したままストキャスティック過程を構築できるか？
• RQ2 局所的潜在変数間の関係的構造は、グローバルな潜在変数モデルと比較して不確実性推定を改善できるか？
• RQ3 参照集合 R の選択が、関数近似における不確実性のキャリブレーションと一般化性能にどのように影響するか？
• RQ4 ミニバッチ学習により FNPs は大規模データセットにスケーリング可能であり、予測性能を維持できるか？
• RQ5 FNPs における依存関係グラフ構造を通じて、誘導的バイアスをどの程度まで組み込むことができるか？

主な発見

• FNPs は回帰および画像分類タスクで競争力のある性能を発揮し、予測精度においてベースラインと同等またはそれを上回る。
• FNPs は Neural Processes (NPs) よりもより頑健な不確実性推定を提供し、特に分布外（o.o.d.）検出において、AUCR スコアがすべてのベースラインを上回り、一貫して高い水準を示す。
• バッチごとにランダムな参照集合を用いる FNP+ のバリエーションは、o.o.d. 検出性能が向上し、R の確率的性質に起因する有益な正則化効果が示唆される。
• 固定された参照集合を用いる FNP のバリエーションは、固定 R を用いた NP よりも不確実性のキャリブレーションが優れているため、FNP のグラフベース構造が頑健性を向上させていることが示唆される。
• 参照集合 R を大きくすると FNP の性能が向上するが、品質が量よりも重要であるため、効率を高めるためにコアセットベースの R 選択が有望である。
• z（局所的潜在変数）の次元を u（参照集合埋め込み）よりも高く設定すると不確実性推定が向上するが、z が十分に大きい場合、u の次元を高めることで精度が向上する。