[論文レビュー] Non-Stationary Spectral Kernels

Sami Remes, Markus Heinonen+1 more|arXiv (Cornell University)|May 24, 2017

Gaussian Processes and Bayesian Inference参考文献 25被引用数 50

ひとこと要約

本論文は、Gaussianプロセスの入力依存周波数をGaussianプロセス表面を介してモデル化する generalized spectral mixture (GSM) カーネルを提案し、非定常性および非単調共分散を可能にし、時系列、画像、および気候データに対する有効性を示す。

ABSTRACT

We propose non-stationary spectral kernels for Gaussian process regression. We propose to model the spectral density of a non-stationary kernel function as a mixture of input-dependent Gaussian process frequency density surfaces. We solve the generalised Fourier transform with such a model, and present a family of non-stationary and non-monotonic kernels that can learn input-dependent and potentially long-range, non-monotonic covariances between inputs. We derive efficient inference using model whitening and marginalized posterior, and show with case studies that these kernels are necessary when modelling even rather simple time series, image or geospatial data with non-stationary characteristics.

研究の動機と目的

• 実データにおける非定常性および非単調共分散の必要性を動機づける。
• スペクトル密度をGaussianプロセスを用いて入力依存の周波数表面としてモデル化する。
• 実用的なGSMカーネルを導出し、閉形式の非定常カーネルを得る。
• モデルホワイトニングと周辺後方分布を用いた効率的な推論を提供する。
• 時系列、テクスチャ画像、気候（陸表面温度）データ上でカーネルを実証する。

提案手法

• k(x,x')をスペクトル表面S(s,s')と関連付ける一般化フーリエ変換によって非定常カーネルを定義する。
• S(s,s')を二変量Gaussian成分の混合として、PSDと実数値カーネルを保証する対称性制約を課す。
• 重み、周波数、長さスケールをGaussianプロセスとしてパラメータ化し、滑らかな入力依存スペクトログラムを形成する。
• GSMカーネルを導出する: k_GSM(x,x') = sum_i w_i(x) w_i(x') k_gibbs,i(x,x') cos(2π(μ_i(x)x − μ_i(x')x')).
• 次元ごとの積として多変量入力へ拡張し、スケーラブル推論のためにKronecker構造を用いる。
• 最適化を改善するためにホワイトニングを用いた周辺化後ポスターの対数に対するMAP推論を行う。

実験結果

リサーチクエスチョン

• RQ1 スペクトル表現を用いて、非定常性および非単調共分散をデータからいかに学習できるか。
• RQ2 GP代理モデルで捉えられる入力依存周波数と振幅が、長距離相関や入力空間全体での非一様な類似性を可能にするか。
• RQ3 GSMカーネルは、時系列、テクスチャ、時空気候データのモデリングと外挿において、定常カーネルおよび既存の非定常法と比べて改善をもたらすか。

主な発見

• GSMカーネルはGPでモデル化されたスペクトログラムを介して入力依存の周波数パターンをエンコードし、非定常性および非単調共分散を可能にする。
• GP成分が一定の場合、GSMは定常スペクトル混合カーネルに縮退し、既存モデルとの整合性を示す。
• シミュレートされた時系列、テクスチャ、陸表面温度に関する実証結果は、SM、SS、およびSEのベースラインよりも性能が高く、外挿がより現実的であることを示す。
• このカーネルは気候データの非対称空間共分散を捉え、局所および全体的な入力依存相関をモデル化する能力を示す。
• パラメータのホワイトニングと周辺化後ポスターを用いた推論は、高次元設定で効率的な推論を可能にし、過剰適合を回避する。