[論文レビュー] Scalable Lévy Process Priors for Spectral Kernel Learning

Phillip A. Jang, Andrew E. Loeb+2 more|arXiv (Cornell University)|Feb 2, 2018

Gaussian Processes and Bayesian Inference参考文献 9被引用数 3

ひとこと要約

本稿では、定常共分散関数における不確実性をモデル化するため、スペクトル密度上にLévy過程の事前分布を用いたスケーラブルなベイジアンカーネル学習フレームワークを提案する。Lévy過程の代数的構造を活用することで、構造的カーネル補間を介してO(n)の学習とO(1)の予測が可能となり、スパarsity誘導事前分布によりモデル次数の自動推定が可能となり、実世界のベンチマークにおいて、良好にキャリブレートされた不確実性推定とともに、最先端の長距離外挿性能を達成する。

ABSTRACT

Gaussian processes are rich distributions over functions, with generalization properties determined by a kernel function. When used for long-range extrapolation, predictions are particularly sensitive to the choice of kernel parameters. It is therefore critical to account for kernel uncertainty in our predictive distributions. We propose a distribution over kernels formed by modelling a spectral mixture density with a Lévy process. The resulting distribution has support for all stationary covariances--including the popular RBF, periodic, and Matérn kernels--combined with inductive biases which enable automatic and data efficient learning, long-range extrapolation, and state of the art predictive performance. The proposed model also presents an approach to spectral regularization, as the Lévy process introduces a sparsity-inducing prior over mixture components, allowing automatic selection over model order and pruning of extraneous components. We exploit the algebraic structure of the proposed process for $\mathcal{O}(n)$ training and $\mathcal{O}(1)$ predictions. We perform extrapolations having reasonable uncertainty estimates on several benchmarks, show that the proposed model can recover flexible ground truth covariances and that it is robust to errors in initialization.

研究の動機と目的

• スペクトル混合カーネル学習における不確実性の定量化の欠如、特に長距離外挿の文脈において、それを解決すること。
• スペクトルカーネルにおける混合成分の数の手動チューニングを排除し、モデル次数の自動推定を可能にすること。
• 大規模データセットにおける効率的な学習と予測を可能にする、スケーラブルで完全なベイジアンフレームワークを構築すること。
• Lévy過程を通じてスパarsity誘導事前分布を組み込み、ノイズや冗長なカーネル成分の自動削除を促進すること。
• 原理的で解釈可能な階層的関数空間的ビューを提供し、不確実性の整合的な伝播を実現するカーネル学習の概念的枠組みを構築すること。

提案手法

• 定常カーネルのスペクトル密度をLévy過程としてモデル化することで、スペクトル混合成分に対する非パrametricな事前分布を可能にする。
• 閉形式のカーネル表現を保証し、すべての定常共分散関数をサポートするため、ガウスまたはラプラスのスケール・ロケーション混合を基底関数として用いる。
• 逆転ジャンプ・マルコフ連鎖モンテカルロ（RJ-MCMC）を用いて、成分の数とそのパラメータを同時に推定し、次元が変化するサンプリングを可能にする。
• 構造的カーネル補間（SKI）を統合することで、O(n)の学習とO(1)の予測複雑度を達成し、大規模データセットへのスケーリングを実現する。
• Lévy過程の事前分布をスパarsity誘導正則化項として適用し、不要な成分の自動削除を促進する。
• カーネル関数のベイジアンモデル平均を形成することで、非ガウス的で重たい尾を持つ予測分布が得られ、外挿における不確実性のキャリブレーションが向上する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル密度上にLévy過程の事前分布を設けることで、スペクトルカーネル学習における混合成分の数の自動推定が可能になるか？
• RQ2 階層的ベイジアンモデルによるカーネル不確実性の組み込みは、固定カーネルアプローチと比較して、長距離外挿性能をどのように向上させるか？
• RQ3 Lévy過程の事前分布は、スペクトル正則化子としてどれほど効果的にスパarsityを促進し、ノイズへの過剰適合を低減するか？
• RQ4 提案手法は大規模データセットにスケーリング可能であり、予測精度と不確実性キャリブレーションを維持できるか？
• RQ5 初期値の悪さに対してどの程度頑健であり、実際の応用においてベースラインのスペクトル混合モデルを上回るか？

主な発見

• 本モデルは、長距離外挿タスクにおいて最先端の予測性能を達成し、予測バンドが保持されたテストデータを完全にカバーする。これに対して、固定カーネルのスペクトル混合モデルはしばしば過信し、ターゲットを逸脱する。
• Lévy過程の事前分布により、混合成分におけるスパarsityが誘導され、手動によるモデル次数のチューニングなしに不要な成分が自動的に同定・削除される。
• 10万点の自然な音響テクスチャデータセットにおいて、標準CPU上で1時間未満で学習が完了し、構造的カーネル補間によるO(n)スケーラビリティを実証した。
• カーネル関数の事後分布サンプルは、実証的共分散の周囲に集中しており、真の潜在構造への効果的な学習と収束が示された。
• 初期値に対して頑健であり、異なる初期化点でも一貫した性能を示した。これに対して、スペクトル混合モデルは初期成分パラメータに極めて敏感である。
• カーネル関数のベイジアンモデル平均により、重たい尾を持つ予測分布が得られ、特にデータが限られた領域における外挿における現実的な不確実性を反映している。