[論文レビュー] Practical Conditional Neural Processes Via Tractable Dependent Predictions

Stratis Markou, James Requeima+3 more|arXiv (Cornell University)|Mar 16, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文は、学習可能な共分散関数を用いて出力相関を明示的にモデル化する、計算可能でスケーラブルな条件付きニューラルプロセスの拡張版であるガウス過程ニューラルプロセス（GNPs）を紹介する。従来の方法が近似推論や高コストな畳み込みを必要としていたのに対し、GNPsは正確な最尤推定が可能であり、多出力回帰および非ガウス分布データの扱いも逆変換可能な変換を用いることで可能となり、予測性能が著しく向上し、下流の推定タスクにおける一貫性のある関数サンプリングを実現する。

ABSTRACT

Conditional Neural Processes (CNPs; Garnelo et al., 2018a) are meta-learning models which leverage the flexibility of deep learning to produce well-calibrated predictions and naturally handle off-the-grid and missing data. CNPs scale to large datasets and train with ease. Due to these features, CNPs appear well-suited to tasks from environmental sciences or healthcare. Unfortunately, CNPs do not produce correlated predictions, making them fundamentally inappropriate for many estimation and decision making tasks. Predicting heat waves or floods, for example, requires modelling dependencies in temperature or precipitation over time and space. Existing approaches which model output dependencies, such as Neural Processes (NPs; Garnelo et al., 2018b) or the FullConvGNP (Bruinsma et al., 2021), are either complicated to train or prohibitively expensive. What is needed is an approach which provides dependent predictions, but is simple to train and computationally tractable. In this work, we present a new class of Neural Process models that make correlated predictions and support exact maximum likelihood training that is simple and scalable. We extend the proposed models by using invertible output transformations, to capture non-Gaussian output distributions. Our models can be used in downstream estimation tasks which require dependent function samples. By accounting for output dependencies, our models show improved predictive performance on a range of experiments with synthetic and real data.

研究の動機と目的

• 関数サンプリングの整合性を損なう、予測が独立で平均場的であるという条件付きニューラルプロセス（CNPs）の根本的限界を解消すること。
• 近似推論や高次元畳み込みのような計算コストの高い操作に依存せずに、出力依存性をモデル化する手法を開発すること。
• スケーラビリティと学習の容易さを保ちながら、相関のある予測分布に対して正確な最尤学習を可能にすること。
• 逆変換可能なマージナル変換を用いて、多出力回帰および非ガウス分布データを扱えるフレームワークに拡張すること。
• 洪水や熱波の確率予測などの下流推定タスクに必要な一貫性のある空間的整合性を持つ関数サンプリングを実現するため、実世界のデータ（例：EEGや気象データ）において性能を向上させること。

提案手法

• 文脈依存の特徴ベクトルを用いて、ガウス予測分布の共分散行列を直接パラメータ化するガウス過程ニューラルプロセス（GNPs）を提案する。
• 深層特徴に適用する正定値共分散関数（例：RBF、Matérn）を用いて、構造的かつ学習可能な出力相関を定義する。
• 尤度が解析的に扱えるようにすることで、変分推論やモンテカルロ近似を回避し、正確な最尤学習を実現する。
• 可逆なカップリング層（例：フローベース変換）を統合し、非ガウス出力分布をモデル化しながらも、尤度の取り扱いの容易さを維持する。
• 局所的受容 field を用いて構造的データの空間的・時間的依存性を捉えるための畳み込み版、ConvGNP を設計する。
• 標準的なバックプロパゲーションを用いてエンドツーエンドでモデルを学習し、テスト時の推論が文脈集合サイズに線形に依存するように設計することで、スケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 近似推論や高コストな操作に依存せずに、条件付きニューラルプロセスにおける出力相関をモデル化できるか？
• RQ2 スケーラビリティを保ちながら、出力依存性を捉えるモデルで正確な最尤学習が可能か？
• RQ3 GNPs は、洪水や熱波の確率予測などの下流推定タスクに必要な一貫性があり、空間的に整合性のある関数サンプルを生成できるか？
• RQ4 複雑な依存性を示す実世界データにおいて、GNPs は平均場的 CNPs や潜在変数付き NPs よりも優れた性能を示すか？
• RQ5 気象モデリングにおいて、GNPs は標準的な統計的ダウンスケーリング手法を上回り、空間的に整合性のある予測を提供できるか？

主な発見

• 指数的平方、Matérn、ノイズ混合、弱周期的カーネルを含む、複雑な共分散構造を持つ合成データにおいて、GNPs は著しく向上した予測性能を達成した。
• 独立性仮定により失敗する平均場的 CNPs が困難な、一貫性のある関数サンプルを必要とする下流推定タスク（継続的高温イベントの確率推定）において、GNPs は成功した。
• 実 EEG データにおいて、GNPs は平均場的 CNPs や潜在変数付きニューラルプロセスの両方を予測精度と不確実性のキャリブレーションの面で上回った。
• 気象モデリングにおいて、GNPs は広く使われる統計的ダウンスケーリング手法のアンサンブルを上回る予測性能を示した一方で、空間的に整合性のある温度サンプルを生成した。
• ConvGNP は、多様な合成データ分布から、複雑な予測共分散パターンを効果的に回復し、強力な表現能力を示した。
• 可逆変換の統合により、GNPs は尤度が取り扱える非ガウス分布データをモデル化でき、ガウス仮定を超えた応用範囲を拡大した。