[論文レビュー] Bayesian Learning from Sequential Data using Gaussian Processes with Signature Covariances

Csaba D. Tóth, Harald Oberhauser|arXiv (Cornell University)|Jun 19, 2019

Gaussian Processes and Bayesian Inference被引用数 19

ひとこと要約

本稿では、シグネチャに基づく共分散関数を用いたガウス過程を用いた逐次データのためのベイジアンフレームワークを提案する。この手法により、複雑な時系列依存性の正確なモデリングが可能となる。スパースな変分推論とインダクティングテンソルを組み合わせ、LSTM/GRUと統合することで、多変量時系列分類ベンチマークにおいて最先端の精度とwell-calibratedな不確実性推定を達成する。

ABSTRACT

We develop a Bayesian approach to learning from sequential data by using Gaussian processes (GPs) with so-called signature kernels as covariance functions. This allows to make sequences of different length comparable and to rely on strong theoretical results from stochastic analysis. Signatures capture sequential structure with tensors that can scale unfavourably in sequence length and state space dimension. To deal with this, we introduce a sparse variational approach with inducing tensors. We then combine the resulting GP with LSTMs and GRUs to build larger models that leverage the strengths of each of these approaches and benchmark the resulting GPs on multivariate time series (TS) classification datasets. Code available at https://github.com/tgcsaba/GPSig.

研究の動機と目的

• 可変長の入力を伴う逐次データへのガウス過程の適用という課題に取り組む。
• 完全なシグネチャカーネルの計算の非現実的さを克服するため、インダクティングテンソルを用いたスパースな変分推論フレームワークを導入する。
• シグネチャベースのガウス過程を深層学習モデル（LSTM、GRU）と統合し、ベイジアン不確実性評価と深層表現学習を組み合わせる。
• 標準的な時系列分類データセットを用いて、提案手法の性能をベンチマーク化し、予測精度と不確実性の補正の両面で評価する。

提案手法

• 確率的微分方程式の理論的枠組みに基づき、時系列のテンソル表現を活用して、シグネチャカーネルを共分散関数として持つガウス過程を定義する。
• 計算コストを低減しつつ表現力を維持するため、相互ドメインにおけるインダクティングテンソルを用いたスパースな変分推論手法を導入する。
• スケーラブルにインダクティングポイントとカーネルハイパーパrameterを学習するため、変分下界を最適化する。
• 得られたガウス過程を再帰的ニューラルネットワーク（LSTM、GRU）と組み合わせ、ベイジアン不確実性と深層時系列特徴抽出の両方の利点を活かしたハイブリッドモデルを構築する。
• シグネチャカーネルを用いて、時系列をヒルベルト空間にマップし、線形手法が非線形依存性をモデル化可能にする。
• 多変量時系列分類に本フレームワークを適用し、不確実性推定付きの確率的分類器としてガウス過程を用いる。

実験結果

リサーチクエスチョン

• RQ1 高い計算コストを伴うにもかかわらず、シグネチャベースのカーネルがガウス過程の共分散関数として時系列データに有効に機能するか。
• RQ2 インダクティングテンソルを用いたスパースな変分推論を、シグネチャカーネルに適応させることで、ガウス過程推論のスケーラビリティをどのように向上できるか。
• RQ3 ガウス過程とLSTM/GRUを統合したハイブリッドモデルが、時系列分類ベンチマークにおいて分類精度と不確実性補正の両面でどの程度向上をもたらすか。
• RQ4 非ベイジアン深層学習手法や他のベイジアンモデルと比較して、提案手法の予測性能と不確実性補正の両面で、どのような差が生じるか。

主な発見

• 提案されたシグネチャ共分散付きガウス過程は、16の多変量時系列分類データセットにおいて最先端の精度を達成し、平均精度は0.948、平均順位は2.688を記録した。
• GP-LSTMおよびGP-GRUモデルは、単独のGP-KConv1Dや他のベースラインを上回り、アラビア語数字データセットではGP-GRUが0.994±0.002の精度を達成した。
• 負の対数予測確率（NLPD）のボックスプロットにより、良好に補正された不確実性推定が得られていることが裏付けられた。
• AUSLANデータセットでは、GP-GRUが0.978±0.006の精度を達成し、最良の非ベイジアンベースライン（MLSTMFCN）の0.970を上回った。
• 高次元かつ長時間系列を含む多様なデータセット（例：PEMS、UWave）においても、高い性能を維持しており、それぞれ平均精度は0.763および0.970であった。
• ガウス過程とRNNの統合により、耐障害性が向上し、GP-LSTMはWalk vs RunおよびShapesデータセットで1.000±0.000の精度を達成し、最良のパフォーマンスを示した。