[論文レビュー] Autoregressive Kernels For Time Series

Marco Cuturi, Randal Douc|arXiv (Cornell University)|Jan 4, 2011

Blind Source Separation Techniques参考文献 47被引用数 33

ひとこと要約

本稿では、ベクトル自己回帰（VAR）モデルの尤度を特徴量として用い、行列ノルム逆ウィシャールト事前分布を統合することで正定値性を保証する、時系列のための自己回帰カーネル（$k_{\text{ar}}$ および $k_{\text{ar}}^{\kappa}$）を提案する。この手法により、構造的データを含む可変長時系列に対し、効率的かつスケーラブルなカーネル計算が可能となり、分類タスクにおいて優れた性能を発揮するとともに、他の手法と比較して計算コストが低い。

ABSTRACT

We propose in this work a new family of kernels for variable-length time series. Our work builds upon the vector autoregressive (VAR) model for multivariate stochastic processes: given a multivariate time series x, we consider the likelihood function p_θ(x) of different parameters θin the VAR model as features to describe x. To compare two time series x and x', we form the product of their features p_θ(x) p_θ(x') which is integrated out w.r.t θusing a matrix normal-inverse Wishart prior. Among other properties, this kernel can be easily computed when the dimension d of the time series is much larger than the lengths of the considered time series x and x'. It can also be generalized to time series taking values in arbitrary state spaces, as long as the state space itself is endowed with a kernel κ. In that case, the kernel between x and x' is a a function of the Gram matrices produced by κon observations and subsequences of observations enumerated in x and x'. We describe a computationally efficient implementation of this generalization that uses low-rank matrix factorization techniques. These kernels are compared to other known kernels using a set of benchmark classification tasks carried out with support vector machines.

研究の動機と目的

• 可変長多変量時系列のための正定値カーネルを構築し、SVMなどのカーネル機械に利用可能にする。
• データ構造（例：画像、グラフ）の時系列を扱えるように、基本カーネル $\kappa$ を用いてカーネルを一般化する。
• 特に時系列の次元 $d$ が系列長に対して大きい場合に、計算効率を確保する。
• DTW などの既存カーネルの限界を克服する。DTW は本質的に正定値でなく、手動による正則化が必要である。
• 指数型分布族と無限可除性を用いた、確率的根拠に基づく時系列カーネル設計の整合的フレームワークを確立する。

提案手法

• カーネル $k_{\text{ar}}$ は、パrameter 空間 $\theta$ における VAR 尤度の積 $p_{\theta}(\mathbf{x}) \cdot p_{\theta}(\mathbf{x}')$ の積分として定義され、正定値性を保証するため行列ノルム逆ウィシャールト事前分布が用いられる。
• カーネル $k_{\text{ar}}^{\kappa}$ は、スカラー観測値をデータ構造上の基本カーネル $\kappa$ によるカーネル行列 $\mathcal{K} = [\kappa(x_i, x_j')]$ に置き換えることで、$k_{\text{ar}}$ の構造的データへの一般化を実現する。
• 低ランク行列因子分解を用いて、$k_{\text{ar}}^{\kappa}$ のグラム行列を近似し、行列式計算の高コストを克服する。
• カーネルの無限可除性を保証することで、カーネル機械やヒルベルト空間埋め込みにおける実用的利用に不可欠な性質を確保する。
• 特徴マップ $\varphi_{\text{var}}$ および $\varphi_{\text{var}}^{\kappa}$ の正規化により、その対数をヒルベルト距離として直接利用可能となる。
• Seeger (2002) の共分散カーネルフレームワークを、動的モデルの確率的記述により時系列に拡張する。

実験結果

リサーチクエスチョン

• RQ1 VAR モデルの尤度から導出されるカーネルが、ベイズ統合によって正定値性を達成できるか。その結果、カーネル機械への利用が可能になるか。
• RQ2 基本カーネル $\kappa$ を用いることで、画像やグラフなどの構造的データの時系列に一般化可能なカーネルはどのように構築できるか。
• RQ3 グローバルアライメントカーネルや DTW を用いた手法と比較して、提案手法の計算効率はどの程度か。
• RQ4 他の手法と比較して顕著に高速である一方で、分類性能が著しく劣らないか。
• RQ5 特に自由度 $\lambda > d-1$ の場合に、カーネルの無限可除性が異なるハイパーパrameter設定下でも保持されるか。

主な発見

• トイデータセットにおいて、自己回帰カーネル $k_{\text{ar}}$ はテスト誤差がゼロとなり、他のカーネルと比較して分類精度が優れている。
• ベンチマークデータセットにおいて、$k_{\text{ar}}$ はしばしば強力なベースラインとされるグローバルアライメントカーネルと同等以上の性能を発揮する。
• 計算コストが低く、特に大規模データセットにおいて、$k_{\text{GA}}^{\kappa}$ よりも平均評価時間が顕著に短い。
• $k_{\text{ar}}^{\kappa}$ の $\varphi_{\text{var}}^{\kappa}$ の低ランク近似により、パラメータ $\tau$ を用いた精度の調整が可能であり、高精度設定でも性能にほとんど影響を及ぼさない。
• 計算コストが高いため、動的ヒストограмとして表現される動画セグメントなどの構造的データに対して、$k_{\text{ar}}^{\kappa}$ は特に有用である可能性がある。
• 著者らは、$\kappa$ が高次元データ上でのガウスカーネルである場合、$k_{\text{ar}}^{\kappa}$ と $k_{\text{ar}}$ が類似した結果をもたらす可能性があると指摘しており、これはグラム行列のスペクトル類似性に起因し、一部の状況では冗長性が生じる可能性を示唆している。