[論文レビュー] Neural Non-Stationary Spectral Kernel

Sami Remes, Markus Heinonen+1 more|arXiv (Cornell University)|Nov 27, 2018

Gaussian Processes and Bayesian Inference参考文献 1被引用数 5

ひとこと要約

本論文は、従来の研究で使用されたガウス過程による事前分布の代わりに、深層ニューラルネットワークを用いて入力に依存する関数としてカーネルのハイパーパrameter（混合重み、周波数、分散など）をモデル化する、新しいニューラル非定常スペクトルカーネル（Neural-GSM）を提案する。この手法は、時系列および回帰ベンチマークにおいて、定常スペクトルミックスチャネルおよびGPパrameter化された非定常カーネルと比較して、優れた予測性能と高速な学習速度を達成している。

ABSTRACT

Standard kernels such as Matérn or RBF kernels only encode simple monotonic dependencies within the input space. Spectral mixture kernels have been proposed as general-purpose, flexible kernels for learning and discovering more complicated patterns in the data. Spectral mixture kernels have recently been generalized into non-stationary kernels by replacing the mixture weights, frequency means and variances by input-dependent functions. These functions have also been modelled as Gaussian processes on their own. In this paper we propose modelling the hyperparameter functions with neural networks, and provide an experimental comparison between the stationary spectral mixture and the two non-stationary spectral mixtures. Scalable Gaussian process inference is implemented within the sparse variational framework for all the kernels considered. We show that the neural variant of the kernel is able to achieve the best performance, among alternatives, on several benchmark datasets.

研究の動機と目的

• 時系列および回帰データにおける周期性や長距離依存性といった複雑で入力に依存するパターンを捉えることのできない定常的・単調なカーネルの限界を解消すること。
• 従来の非定常スペクトルミックスチャネルカーネルを改善し、ハイパーパrameterにガウス過程の事前分布を用いるのではなく、より柔軟で表現力に富んだニューラルネットワークを用いること。
• スパース変分ガウス過程手法を用いて非定常カーネルのスケーラブルな推論を可能とし、1次元で数千ポイントのデータを処理できること。
• 多様なベンチマークデータセット上で、提案されたNeural-GSMを定常スペクトルミックスチャネル、RBF、およびGPパrameter化された非定常カーネルと比較して実験的に評価すること。

提案手法

• 混合重み、周波数の平均、分散といったカーネルハイパーパrameterは、入力を入力として受け取る順方向ニューラルネットワークによってパラメータライズされる。
• 得られたNeural-GSMカーネルは、大規模データセットにおけるスケーラブルなガウス過程回帰を可能とするスパース変分推論フレームワークに統合される。
• モデルは、誘導点（inducing points）を用いた確率的最適化により、変分下界（ELBO）を最適化することでエンドツーエンドで学習される。
• この手法は、スペクトル成分の入力依存的な変調を可能にすることで、スペクトルミックスチャネルカーネルを一般化し、非定常的かつ非単調な挙動を可能にする。
• ニューラルネットワークによるパラメータライズは、Remesら（2017）が用いたGPベースのハイパーパrameter関数を置き換え、最適化の速度と性能を向上させる。
• フレームワークは回帰および時系列モデリングの両方をサポートし、太陽活動、モーションキャプチャ、UCIデータセットを用いた実験が行われた。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、データの複雑で入力に依存するパターン（例：周期性）を効果的にスペクトルミックスチャネルカーネルのハイパーパラメータをパラメータライズできるか？
• RQ2 ニューラルネットワークベースの非定常カーネルは、定常スペクトルミックスチャネルおよびGPパラメータ化された非定常カーネルと比較して、予測精度および尤度の観点で優れているか？
• RQ3 ニューラルパラメータライズは、GPベースのハイパーパラメータ関数と比較して、収束が速く、1最適化ステップあたりのウォールタイムが短くなるか？
• RQ4 Neural-GSMカーネルは、RBFのような定常カーネルと比較して、時系列データにおける長距離依存性や周期的依存性をよりよく捉えられるか？
• RQ5 スパース変分推論を用いることで、データサイズおよび学習効率の観点から、提案手法はどの程度スケーラブルか？

主な発見

• Neural-GSMカーネルは、太陽活動およびモーションキャプチャの時系列データセットにおいて、RBF、定常SM、GP-GSMカーネルを上回る予測性能を達成した。
• CMUモーションキャプチャデータセットでは、Neural-GSMは定常SMカーネルが過信度の高い広い信頼区間を生成するのに対し、鋭いピークや動的な変化をより正確に捉えた。
• Neural-GSMは、収束に必要な最適化ステップ数がGP-GSMとほぼ同等である一方、1イテレーションあたりの学習速度が約2倍速く、収束が速いことが確認された。
• UCI ProteinおよびPower回帰ベンチマークでは、Neural-GSMが最小のテスト誤差と最大の対数尤度を達成し、RBF、SM、GP-GSMを上回った。
• GP-GSMバージョンは、実行ごとの尤度および誤差推定値に高い分散を示し、収束が不安定であることが判明し、最適化の安定性が低いことが示された。
• スパース変分推論フレームワークにより、最大数千年点のデータセットに対してもスケーラブルな学習が可能となり、先行研究のKroneckerベースの手法を超える実用的応用性を示した。