[論文レビュー] Harmonizable mixture kernels with variational Fourier features

Zheyang Shen, Markus Heinonen+1 more|arXiv (Cornell University)|Oct 10, 2018

Gaussian Processes and Bayesian Inference被引用数 7

ひとこと要約

本稿では、一般化スペクトル表現から導かれた表現力・解釈可能性に優れた非定常ガウス過程カーネルの新規族、調和的混合カーネル（HMK）を提案し、HMKを用いたロバストな学習を可能にする、相互ドメインスパース推論フレームワークである変分フーリエ特徴量（VFF）を提案する。本手法は回帰および分類タスクにおいて非定常パターンのモデリングを優れた性能で実現し、太陽放射の複雑なデータにおける局所構造の捉え込みや外挿性能において、標準的なカーネルを上回る。

ABSTRACT

The expressive power of Gaussian processes depends heavily on the choice of kernel. In this work we propose the novel harmonizable mixture kernel (HMK), a family of expressive, interpretable, non-stationary kernels derived from mixture models on the generalized spectral representation. As a theoretically sound treatment of non-stationary kernels, HMK supports harmonizable covariances, a wide subset of kernels including all stationary and many non-stationary covariances. We also propose variational Fourier features, an inter-domain sparse GP inference framework that offers a representative set of 'inducing frequencies'. We show that harmonizable mixture kernels interpolate between local patterns, and that variational Fourier features offers a robust kernel learning framework for the new kernel family.

研究の動機と目的

• ガウス過程の非定常カーネルの理論的裏付けと表現力を備えたクラスを構築すること。これは、一般化スペクトル表現を用いて定常カーネルを一般化する。
• 既存の非定常スペクトルカーネルに理論的裏付けが欠如している問題に対処するため、調和的カーネルを導入し、非定常共分散の明確に定義されたクラスを提供する。
• HMKに特化したスケーラブルで相互ドメインの推論フレームワークとしての変分フーリエ特徴量（VFF）を提案し、効率的かつロバストなカーネル学習を可能にする。
• カーネル回復、分類、回帰の実験を通じて、HMKの複雑な非定常データパターンへの表現力の高さを実証する。

提案手法

• 調和的混合カーネル（HMK）は、一般化スペクトル密度の混合として構築され、一般化フーリエ変換を用いて広範な非定常共分散をモデル化可能である。
• HMKは、調和的過程の一般化スペクトル表現から導出され、スペクトル成分を介した理論的整合性と解釈可能性を保証する。
• 変分フーリエ特徴量（VFF）は、周波数ドメインにおける誘導点として導入され、HMKを用いた相互ドメインスパースGP推論を可能にする。
• VFFフレームワークはフーリエドメインにおける変分近似を用い、誘導周波数の効率的最適化と一般化性能の向上を実現する。
• HMKハイパーパrameterの最適化には確率的勾配降下法を採用し、解釈可能性のためWigner分布と一般化スペクトル密度を用いる。
• 計算効率を高めるために、実験では共分散行列が対角行列であるHMKの簡略化版を用いる。

実験結果

リサーチクエスチョン

• RQ1 理論的裏付けがあり、定常スペクトルカーネルを一般化し、局所パターンモデリングを可能にする非定常カーネル族を構築できるか？
• RQ2 非定常カーネルと効率的・スケーラブルな学習を実現するため、周波数ドメインに変分推論をどのように適応できるか？
• RQ3 HMKは、カーネル回復タスクにおいて、GSM や IFBM のような複雑な非定常カーネルをどの程度正確に回復できるか？
• RQ4 VFFフレームワークは、非定常データにおける分類および回帰タスクで、標準的な誘導点手法を上回る性能を示すか？
• RQ5 太陽放射予測のような非定常回帰タスクにおいて、HMKは定常カーネルやスペクトル混合カーネルと比較して、どの程度優れた外挿性能を示すか？

主な発見

• HMKは平均二乗誤差 0.0008 で一般化スペクトル混合（GSM）カーネルを回復し、高い表現力と解釈可能性を示した。
• HMKは平均二乗誤差 0.0033 で時間反転分数ブラウン運動（IFBM）カーネルを回復し、複雑な非定常構造のモデル化能力を確認した。
• バナナデータセットにおけるGP分類では、VFFとHMKを組み合わせた手法が、標準的な誘導点よりも少ないパラメータで正確な意思決定境界を達成し、収束が速く、複雑さが低い。
• 太陽放射回帰においては、HMKにVFFを組み合わせた手法が、SEカーネルおよびSMカーネルを上回り、特に周期的で非定常なパターンの捉え込みに優れた性能を示した。
• 最適化されたHMKのWigner分布から、誘導周波数が学習済みのスペクトル成分の周囲に集中していることが確認され、VFFが関連周波数を的確に特定できていることを裏付けた。
• HMKにVFFを組み合わせることで、特に定常カーネルが局所変動をモデル化できない非定常設定において、ロバストなカーネル学習と一般化性能の向上が実現した。