[論文レビュー] Variational Gaussian Processes with Signature Covariances.

Csaba Tóth, Harald Oberhauser|arXiv (Cornell University)|Jun 19, 2019

Gaussian Processes and Bayesian Inference参考文献 18被引用数 7

ひとこと要約

本稿では、ストリーム値データに対して変分ガウス過程モデルを提案し、スパースな誘導テンソルを用いることで計算コストを低減することで、時系列およびテキストからの効率的な学習を可能にする。このアプローチは、ベイズ的不確実性評価を維持したまま、教師あり分類タスクにおいて優れた性能を達成する。

ABSTRACT

We introduce a Bayesian approach to learn from stream-valued data by using Gaussian processes with the recently introduced signature kernel as covariance function. To cope with the computational complexity in time and memory that arises with long streams that evolve in large state spaces, we develop a variational Bayes approach with sparse inducing tensors. We provide an implementation based on GPFlow and benchmark this variational Gaussian process model on supervised classification tasks for time series and text (a stream of words).

研究の動機と目的

• 長期間のストリームを高次元状態空間でスケーリング可能なガウス過程を適用する課題に対処すること。
• 時系列やテキストなどの順序データに対するベイズ学習を、シグニチャートランスフォームから導出されたカーネルを用いて可能にすること。
• スパースな誘導テンソルを用いた変分ベイズアプローチにより、時間およびメモリの計算複雑性を低減すること。
• ストリーム値データにおけるスケーラブルで不確実性を考慮したモデルを、教師あり分類タスクに提供すること。

提案手法

• 本手法は、複雑な時間的および順序的依存関係を捉えるために、ガウス過程における共分散関数としてシグニチャーカーネルを採用する。
• 関数の事後分布を近似するために変分ベイズ近似を用い、スケーラブルな推論を実現する。
• 共分散構造の表現を圧縮するためにスパースな誘導テンソルを導入し、メモリおよび計算コストを削減する。
• GPFlowを用いて実装し、自動微分およびGPU加速を活用して効率性を向上させる。
• 大規模データを処理するために、確率的勾配降下法を用いて変分目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 シグニチャーカーネルは、ベイズフレームワーク内で時系列やテキストなどの順序データを効果的にモデル化できるか？
• RQ2 スパースな誘導テンソルを用いた変分推論は、長時間のシーケンスおよび高次元状態空間にどのようにスケーリングできるか？
• RQ3 提案手法の分類精度は、時系列およびテキストデータにおけるベースライン手法と比較してどの程度か？
• RQ4 計算効率を達成しつつ、不確実性推定をどの程度維持できるか？

主な発見

• 本モデルは、時系列およびテキストのベンチマークにおいて競争力ある分類性能を達成し、シグニチャーカーネルが順序構造を効果的に捉えられることを示した。
• スパースな誘導テンソルの使用により、メモリおよび計算コストが顕著に削減され、より長いシーケンスへのスケーリングが可能になった。
• 変分推論フレームワークは信頼性のある不確実性推定を維持しており、頑健な意思決定を支援した。
• GPFlowにおける実装により、効率的なトレーニングと推論が可能となり、実用的導入を促進した。