[論文レビュー] Dimensionality reduction for time series data

Diego Vidaurre, Iead Rezek+3 more|arXiv (Cornell University)|Jun 14, 2014

Control Systems and Identification参考文献 20被引用数 3

ひとこと要約

本稿では、時系列データの次元削減のためのベイジアン低ランク多変量自己回帰モデル（LR-MAR）を提案する。この手法は、自己回帰係数行列を低ランク構造で近似することで、明示的に時系列の自己相関をモデル化する。従来のi.i.d.仮定に基づく手法（例：PCA）に比べ、動的相関を捉えられ、変分ベイズ推論フレームワークにより同時に次元削減と平滑化が可能である。

ABSTRACT

Despite the fact that they do not consider the temporal nature of data, classic dimensionality reduction techniques, such as PCA, are widely applied to time series data. In this paper, we introduce a factor decomposition specific for time series that builds upon the Bayesian multivariate autoregressive model and hence evades the assumption that data points are mutually independent. The key is to find a low-rank estimation of the autoregressive matrices. As in the probabilistic version of other factor models, this induces a latent low-dimensional representation of the original data. We discuss some possible generalisations and alternatives, with the most relevant being a technique for simultaneous smoothing and dimensionality reduction. To illustrate the potential applications, we apply the model on a synthetic data set and different types of neuroimaging data (EEG and ECoG).

研究の動機と目的

• 古典的な次元削減手法（例：PCA）の限界、すなわちi.i.d.仮定に基づくデータポイントの仮定と、時系列データにおける時系列依存性の無視を是正すること。
• 多変量自己回帰（MAR）ダイナミクスに基づく確率的要因モデルを構築し、自己回帰行列の低ランク近似を通じて時系列相関を明示的にモデル化すること。
• 高次元時系列データにおいて、時系列構造を保持するとともに過学習を低減する効果的な次元削減を実現し、特に神経画像応用分野で有効であること。
• 変分自由エネルギーを用いた自動関連性決定を可能とする、一貫性のあるベイジアンフレームワークを提供し、モデルの複雑さの制御とハイパーパrameter選択を実現すること。
• 窓付きCCA（wCCA）を用いた同時平滑化と次元削減、および非定常ダイナミクスを扱うための隠れ状態依存モデルといった拡張を検討すること。

提案手法

• 多変量自己回帰（MAR）モデルにおける自己回帰係数行列の低ランク分解を提案し、パラメータ数を $PN^2$ から $PNQ$ に削減（$Q < N$）。
• 自己回帰係数に共役ガウス事前分布を導入することで、変分ベイズ推論と自動関連性決定を可能にするベイジアン定式化を採用。
• 低次元状態を表す潜在変数 $\bm{z}_t$ を導入し、観測信号 $\bm{y}_t$ を低ランク行列 $\bm{W}_i$ および $\bm{V}$ を用いた過去の状態の線形結合としてモデル化。
• 自由エネルギー目的関数を用いた変分推論により、事後分布の近似とモデル選択（自己回帰次数 $P$ および潜在次元 $Q$ の選定）を実行。
• 複数のラグを過去のデータポイントの線形関数としてモデル化することで、同時に次元削減と平滑化を実現する窓付きCCA（wCCA）にモデルを一般化。
• 隠れマルコフモデルへの拡張により、$\bm{W}$ および $\bm{V}$ が隠れ状態に応じて変化するようにし、非定常ダイナミクスの不変性を捉える。

実験結果

リサーチクエスチョン

• RQ1 多変量自己回帰モデルの低ランク近似は、時系列データの次元削減と同時に、時系列依存性を保持するのに有効であるか？
• RQ2 提案されたLR-MARモデルは、標準的なPCAやその他のi.i.d.ベースの要因モデルに比べ、時系列データの分散と構造をどの程度正確に捉えられるか？
• RQ3 変分推論を用いたベイジアンフレームワークは、高次元時系列データにおいて、自動的なモデル選択と正則化をどの程度実現できるか？
• RQ4 窓付きCCA（wCCA）による同時平滑化と次元削減は、分離した前処理ステップに比べ、予測性能とデータの圧縮性において優れているか？
• RQ5 隠れ状態依存パラメータを用いたモデルは、ダイナミクスの変化をどの程度正確に検出・表現できるか？

主な発見

• LR-MARモデルは、低ランク自己回帰行列を用いて時系列相関を捉えることで、i.i.d.ベースのモデル（例：PCA）に比べ、時系列データの分散を顕著に高い精度で説明する。
• 合成データにおいて優れた性能を示し、最小限の成分で真の低次元ダイナミクスを正確に回復し、ロバストなパラメータ推定が可能である。
• 実際のEEGおよびECoG神経画像データにおいて、LR-MARは次元削減されたコンactかつ意味のある低次元表現を提供し、その後続の教師あり学習タスクを向上させる。
• 変分自由エネルギー基準は、外部の検証を必要とせずに、最適な自己回帰次数 $P$ および潜在次元 $Q$ の特定に成功した。
• 窓付きCCA（wCCA）バージョンは、同時に平滑化と次元削減を実現し、データ圧縮およびノイズ抑制において優れた性能を示した。
• 隠れ状態依存モデルへの拡張により、ダイナミクスの変化を検出可能となり、非定常時系列の非教師分類への応用が可能である。