[論文レビュー] Non-Gaussian Gaussian Processes for Few-Shot Regression

Marcin Sendera, Jacek Tabor+6 more|arXiv (Cornell University)|Oct 26, 2021

Gaussian Processes and Bayesian Inference参考文献 49被引用数 5

ひとこと要約

本稿では、逆可換なODEに基づく正規化フローを用いて局所的に非ガウス的な事後予測分布をモデル化することで、少数のサンプルからの回帰タスクにおけるガウス過程（GPs）の性能を向上させる、非ガウス的ガウス過程（NGGPs）という新規手法を提案する。ランダムベクトルの各成分にわたってフローのパラメータを共有し、コンテキスト埋め込みに条件づけることで、多様な少数のサンプル回帰ベンチマークで最先端の性能を達成し、特に複雑で多次元的かつ不均一分散（heteroscedastic）なデータ分布のモデル化において優れた結果を示す。

ABSTRACT

Gaussian Processes (GPs) have been widely used in machine learning to model distributions over functions, with applications including multi-modal regression, time-series prediction, and few-shot learning. GPs are particularly useful in the last application since they rely on Normal distributions and enable closed-form computation of the posterior probability function. Unfortunately, because the resulting posterior is not flexible enough to capture complex distributions, GPs assume high similarity between subsequent tasks - a requirement rarely met in real-world conditions. In this work, we address this limitation by leveraging the flexibility of Normalizing Flows to modulate the posterior predictive distribution of the GP. This makes the GP posterior locally non-Gaussian, therefore we name our method Non-Gaussian Gaussian Processes (NGGPs). More precisely, we propose an invertible ODE-based mapping that operates on each component of the random variable vectors and shares the parameters across all of them. We empirically tested the flexibility of NGGPs on various few-shot learning regression datasets, showing that the mapping can incorporate context embedding information to model different noise levels for periodic functions. As a result, our method shares the structure of the problem between subsequent tasks, but the contextualization allows for adaptation to dissimilarities. NGGPs outperform the competing state-of-the-art approaches on a diversified set of benchmarks and applications.

研究の動機と目的

• 現実の少数のサンプル学習タスクで一般的に見られる複雑で非ガウス的な分布をモデル化する際の、標準的ガウス過程の硬直性を是正すること。
• 特に多次元的または不均一分散回帰において、GPの事後分布がガウス的仮定によって過度に制約されてしまうという限界を克服すること。
• 正規化フローを用いたコンテキストに適応した柔軟なノイズモデリングを導入することで、性質の異なる少数のサンプルタスク間での一般化を可能にすること。
• 計算効率と閉形式推論を維持しつつ、標準的GPを上回るモデルの柔軟性を高めること。
• 合成多峰関数、実世界の時系列データ、およびEEGデータを含む多様な少数のサンプル回帰ベンチマークで優れた性能を示すこと。

提案手法

• 連続的正規化フロー（CNFs）を用いてGPの事後予測分布を変更するフレームワークとして、非ガウス的ガウス過程（NGGPs）を導入する。
• 各ランダム変数ベクトルの成分ごとに独立に作用する逆可換なODEベースの写像を採用し、柔軟で非ガウス的な変換を可能にする。
• すべての成分にわたってODEベースのフローのパラメータを共有することで、パラメータ効率性とスケーラビリティを維持する。
• サポートセットデータから得られるコンテキスト埋め込みに、フローのパラメータを条件づけることで、ノイズレベルや関数形といったタスク固有の特徴に適応可能にする。
• 正規化フローを用いて標準ガウス事前分布を複雑で局所的に非ガウス的な事後分布に変換しつつ、閉形式の事後分布計算を維持する。
• ODEソルバーをバックプロパゲーション可能にするように、最大尤度推定を用いてエンドツーエンドでNGGPsを学習し、カーネルハイパーパrameterとフローのパラメータを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 閉形式推論を維持しつつ、GPの事後分布を局所的に非ガウス的にするために正規化フローを効果的に使用できるか？
• RQ2 標準的GPや他の最先端手法と比較して、NGGPsは少数のサンプル設定下で、複雑で多次元的、または不均一分散の回帰関数をどの程度正確にモデル化できるか？
• RQ3 コンテキストに依存するフローのパラメータ化が、性質の異なる少数のサンプルタスク間での一般化をどの程度向上させるか？
• RQ4 提案されたODEベースのフロー構造は、標準のカーネルベースのGPモデルに比べ、より優れた誘導的バイアスと不確実性評価を提供するか？
• RQ5 実世界の少数のサンプル回帰シナリオにおいて、NGGPはガウス的仮定から逸脱するデータに対して、既存の手法をどの程度上回るか？

主な発見

• NGGPsは、合成多次元関数、NASDAQ100株価データ、EEG時系列データを含む多様な少数のサンプル回帰ベンチマークで最先端の性能を達成した。
• NASDAQ100データセットでは、RBFカーネルを用いたNGGPが、MSE 0.012 ± 0.014（範囲内）および 0.016 ± 0.034（範囲外）を達成し、DKTや他のベースラインを顕著に上回った。
• EEGデータでは、RBFカーネルを用いたNGGPが、MSE 0.222 ± 0.181（範囲内）および 0.463 ± 0.415（範囲外）を達成し、非ガウス的でノイズの多い生物学的信号に対しても頑健であることを示した。
• 周期的関数でノイズレベルが変動する状況において、コンテキスト依存のフローのパラメータを学習することで、多次元的正弦関数の正確な再構成が可能になった。
• すべてのデータセットでNLLスコアが向上し、標準的GPやDKTと比較して、不確実性評価と尤度適合性の両面で優れた性能を示した。
• 標準的GPよりも計算コストは高かったが、特に複雑で非ガウス的な領域において、柔軟性と性能の優れたトレードオフを実現した。