[論文レビュー] Generalized Spectral Kernels

Yves-Laurent Kom Samo, Stephen Roberts|arXiv (Cornell University)|Jun 7, 2015

Gaussian Processes and Bayesian Inference参考文献 20被引用数 25

ひとこと要約

本稿では、任意の連続有界カーネル（定常的であれ非定常的であれ）を任意の精度で近似可能な、取り扱いやすいカーネル族である一般化スペクトルカーネルを導入する。特異測度と連続測度を含むスペクトル表現への拡張により、関数の滑らかさ（例：Matérn型の正則性）を学習可能となり、従来のスペクトルカーネル（スペクトル混合およびスパーススペクトルカーネルを含む）と比較して、より少ないパラメータで優れた精度を達成する。

ABSTRACT

In this paper we propose a family of tractable kernels that is dense in the family of bounded positive semi-definite functions (i.e. can approximate any bounded kernel with arbitrary precision). We start by discussing the case of stationary kernels, and propose a family of spectral kernels that extends existing approaches such as spectral mixture kernels and sparse spectrum kernels. Our extension has two primary advantages. Firstly, unlike existing spectral approaches that yield infinite differentiability, the kernels we introduce allow learning the degree of differentiability of the latent function in Gaussian process (GP) models and functions in the reproducing kernel Hilbert space (RKHS) in other kernel methods. Secondly, we show that some of the kernels we propose require fewer parameters than existing spectral kernels for the same accuracy, thereby leading to faster and more robust inference. Finally, we generalize our approach and propose a flexible and tractable family of spectral kernels that we prove can approximate any continuous bounded nonstationary kernel.

研究の動機と目的

• 任意の連続有界カーネル（非定常的である場合を含む）を任意の精度で近似可能なカーネル族の開発。
• 従来のスペクトルカーネルが無限回微分可能であると仮定しており、潜在関数の滑らかさを学習できないという制限を克服すること。
• 正確なカーネル近似に必要なパラメータ数を削減しながら、推論速度およびロバスト性を維持または向上させること。
• 定常性を超えたスペクトルカーネル手法の一般化により、時間反転分数ブラウン運動のような非定常構造の効果的なモデリングを可能にすること。
• 手作業で設計された共分散関数に依存せず、ガウス過程やその他のカーネル手法に適用可能な理論的裏付けが強く、柔軟なカーネル族の提供。

提案手法

• ボッヘナーの定理を用いて、定常カーネルをスペクトル測度で表現し、連続的および離散的（特異的）成分を含むように拡張する。
• スペクトル測度をデルタ質量と密度関数の有限混合としてモデル化することで、一般化スペクトルカーネル族を導入する。
• ライブニッツの分解定理を用いてスペクトル測度を絶対連続部と特異部に分離し、滑らかさと不連続性の両方を柔軟にモデリング可能にする。
• スペクトル密度および離散的質量にパラメトリックな形を適用し、取り扱いやすいカーネル族を構築する：$ k( au) = rac{1}{2} heta_0 + heta_1 ext{Re} ig( ext{tr}(oldsymbol{W} oldsymbol{D} oldsymbol{W}^T) ig) + heta_2 ext{tr}(oldsymbol{W} oldsymbol{D} oldsymbol{W}^T) $、ここで $ oldsymbol{D} $ はスペクトル重みの対角行列。
• スケーラブルな推論を可能にするために、ランダムフーリエ特徴量および非定常拡張を適用し、効率的なガウス過程回帰とカーネル近似を実現する。
• 均等なグリッド上で、目的カーネル（例：IFBM）と近似用一般化スペクトルカーネルとの間の二乗誤差を最小化することで、カーネルパラメータを最適化する。

実験結果

リサーチクエスチョン

• RQ1 取り扱いやすいカーネル族は、非定常的である場合を含む任意の連続有界カーネルを任意の精度で近似可能か？
• RQ2 一般化スペクトルカーネルは、従来のスペクトルカーネルとは異なり、ガウス過程モデルにおける潜在関数の滑らかさ（微分可能性）を学習可能か？
• RQ3 提案手法は、スペクトル混合およびスパーススペクトルカーネルと比較して、より少ないパラメータで高い精度を達成可能か？
• RQ4 一般化スペクトルカーネルは、時間反転分数ブラウン運動のような非定常カーネルをどれほどよく近似可能か？
• RQ5 一般化スペクトルカーネルの非定常拡張は、カーネル手法におけるスケーラブルな推論に利用可能か？

主な発見

• 一般化スペクトルカーネルは、連続有界カーネルの空間において稠密である。これは、任意のこのようなカーネルを任意に良く近似可能であることを意味する。
• 空気温度異常データセットにおいて、スペクトルマトゥルン 1/2 カーネルが最小のRMSE（1.28）を達成し、スペクトル混合および他の競合カーネルを上回った。
• 時間反転分数ブラウン運動カーネルにおいて、非定常一般化スペクトルカーネルは $ h = 0.2 $ 時に正規化RMSEが0.08まで低下し、定常的代替手法（例：S-SE：0.22）を著しく上回った。
• わずか5つのスペクトル成分で、非定常一般化スペクトルカーネルはIFBMカーネルを高い忠実度で近似できた。これは、本手法の効率性と表現力の高さを示している。
• 本手法により関数の滑らかさを学習可能である：マトゥルン 1/2 カーネルが最適と選ばれ、これは潜在的温度異常が連続的ではあるが、それ以上に滑らかではないことを示している。
• 一般化スペクトルカーネルの非定常拡張により、非定常的かつ非対称な相関構造（例：IFBMにおけるもの）のモデリングが可能となり、定常カーネルでは到達できない。