[論文レビュー] Function-Space Distributions over Kernels

Gregory W. Benton, Wesley J. Maddox+3 more|arXiv (Cornell University)|Oct 29, 2019

Gaussian Processes and Bayesian Inference被引用数 8

ひとこと要約

この論文では、スペクトル密度に変換されたガウス過程を配置することで、カーネル関数における不確実性を直接モデル化する非パrametricなベイジアン手法、Functional Kernel Learning (FKL) を提案する。関数空間で動作するため、FKL は柔軟で解釈可能なカーネル推論を可能にし、補間、外挿、カーネル回復の各タスクで優れた性能を発揮する。パラメトリックなカーネルに比べて、手動による初期化や複雑なチューニングを必要としない。

ABSTRACT

Gaussian processes are flexible function approximators, with inductive biases controlled by a covariance kernel. Learning the kernel is the key to representation learning and strong predictive performance. In this paper, we develop functional kernel learning (FKL) to directly infer functional posteriors over kernels. In particular, we place a transformed Gaussian process over a spectral density, to induce a non-parametric distribution over kernel functions. The resulting approach enables learning of rich representations, with support for any stationary kernel, uncertainty over the values of the kernel, and an interpretable specification of a prior directly over kernels, without requiring sophisticated initialization or manual intervention. We perform inference through elliptical slice sampling, which is especially well suited to marginalizing posteriors with the strongly correlated priors typical to function space modelling. We develop our approach for non-uniform, large-scale, multi-task, and multidimensional data, and show promising performance in a wide range of settings, including interpolation, extrapolation, and kernel recovery experiments.

研究の動機と目的

• 固定されたパrametricな家族のパラメータを学習するのではなく、カーネル関数における不確実性を直接モデル化する関数空間アプローチを、カーネル学習に開発すること。
• ユーザーが関数空間で直接、カーネル構造（例：滑らかさ、周期性）に関する信念を表現できるようにすることで、解釈可能な事前分布の指定を可能にすること。
• パラメトリックなアプローチに一般的に見られる、高度な初期化や手動による干渉を回避すること。
• 大規模で多次元的かつマルチタスクなデータセット、特に不規則に配置された高次元データに対してもスケーリング可能な方法を実現すること。
• 補間、外挿、カーネル回復の多様な設定において、統一されたフレームワークで強力な経験的性能を示すこと。

提案手法

• 定常カーネルのスペクトル密度を変換されたガウス過程としてモデル化し、関数空間におけるカーネル関数の非パラメトリックな分布を可能にする。
• 逆フーリエ変換などの決定論的変換を用いて、スペクトル密度のGPを有効なカーネル関数にマッピングし、正定値性を保証する。
• 関数空間モデルに一般的に見られる強い相関を持つ事前分布を効率的に扱えるように、楕円スライスサンプリングを用いて推論を実行する。
• 複数のタスクや入力次元にわたる設定に拡張するため、タスクや入力次元間で潜在的なGPを共有することで、構造的で整合性のある共分散学習を可能にする。
• グリッド構造のデータ（例：画像）において、Kronecker構造を活用することで、O(PN^{P/2}) の複雑さにまで推論をスケーリングし、O(N^3) に比べて大幅に高速化する。
• 入力次元ごとのカーネルの積分解釈を用い、共有または独立した潜在GPを用いることで、複雑な高次元共分散構造をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル密度の非パラメトリックな関数空間事前分布は、パラメトリックな家族に依存せずに、柔軟で解釈可能なカーネル学習を可能にするか？
• RQ2 このような手法は、最先端のパラメトリックなカーネルと比較して、分布外の外挿やカーネル回復タスクにおいてどの程度の一般化性能を発揮するか？
• RQ3 不確実性の定量化と予測精度を維持したまま、大規模で多次元的かつマルチタスクなデータセットにどの程度スケーリングできるか？
• RQ4 関数空間に基づくカーネル学習のアプローチは、従来の手法で一般的に見られる、手動によるハイパーパramータチューニングや複雑な初期化手順の必要性をどの程度軽減できるか？
• RQ5 実世界のデータ（例：テクスチャ、気象時系列）において、カーネル形式に関する事前の仮定なしに、豊富で構造的な共分散パターンを同定できるか？

主な発見

• UCIデータセットにおける補間および外挿タスクにおいて、FKLは標準的なパラメトリックカーネル（RBF、ARD、Matérn）およびスペクトルミックスチャネルカーネルを上回り、平均RMSEが低く、不確実性のキャリブレーションが向上した。
• 空力翼データセットにおいて、FKLは各入力次元ごとに明確で解釈可能なカーネル関数を学習でき、事後分布サンプルが真の構造と不確実性を的確に捉えていた。
• マルチタスクの降水量モデリングにおいて、共有された潜在GPを用いたFKLは、地理的に類似した場所間の季節的パターンを正確に捉え、適切な信用区間を伴う信頼性の高い予測分布を提供した。
• 10,000ピクセルの鋼鉄の tread-plate 画像において、FKLは訓練領域を超えてテクスチャパターンを正しく外挿できたが、標準的なRBFカーネルは周期的構造を捉えられなかった。
• スペクトルミックスチャネルカーネルとは対照的に、FKLは高度な初期化を必要とせず、収束に大きく依存しない強力な性能を発揮した。
• 楕円スライスサンプリングの使用により、関数空間事前分布の高い相関性に対しても効率的な事後分布推論が可能となり、すべての実験設定で頑健な不確実性定量化を実現した。