[論文レビュー] The Arrow of Time in Multivariate Time Series

Stefan Bauer, Bernhard Schölkopf+1 more|arXiv (Cornell University)|Mar 2, 2016

Blind Source Separation Techniques参考文献 17被引用数 6

ひとこと要約

本稿では、非ガウス型のノイズを伴う線形VARMA過程によって生成される多次元時系列が、時間反転対称性の破綻により時間方向に同定可能であることを確立しており、時間の矢の検出に理論的基盤を提供する。この手法は、HSICを用いた残差の独立性検定により、弱い正則性条件のもとで一貫して正しい時間方向を推定する。これは、単変量の結果を多次元設定に拡張し、実世界のデータにおいても性能が向上している。

ABSTRACT

We prove that a time series satisfying a (linear) multivariate autoregressive moving average (VARMA) model satisfies the same model assumption in the reversed time direction, too, if all innovations are normally distributed. This reversibility breaks down if the innovations are non-Gaussian. This means that under the assumption of a VARMA process with non-Gaussian noise, the arrow of time becomes detectable. Our work thereby provides a theoretic justification of an algorithm that has been used for inferring the direction of video snippets. We present a slightly modified practical algorithm that estimates the time direction for a given sample and prove its consistency. We further investigate how the performance of the algorithm depends on sample size, number of dimensions of the time series and the order of the process. An application to real world data from economics shows that considering multivariate processes instead of univariate processes can be beneficial for estimating the time direction. Our result extends earlier work on univariate time series. It relates to the concept of causal inference, where recent methods exploit non-Gaussianity of the error terms for causal structure learning.

研究の動機と目的

• 時系列のダイナミクスからその時間方向が同定可能となる理論的条件を確立すること。
• 単変量の時間方向推定手法を線形自己回帰移動平均（VARMA）過程を用いた多次元時系列に拡張すること。
• 残差の独立性検定を用いて時間方向を推定する実用的アルゴリズムの一貫性を証明すること。
• 標本サイズ、次元数、プロセスの次数が時間方向推定の性能に与える影響を調査すること。
• 実世界の時系列データにおいて、多次元モデル化が単変量アプローチに比べて優れていることを示すこと。

提案手法

• 本稿では、独立同分布のノイズを伴う線形VARMA過程を用いて多次元時系列をモデル化し、弱 stationarity および因果的構造を仮定する。
• 時間反転対称性がノイズがガウス分布である場合にのみ成立することを証明し、非ガウス性の下では崩壊するため、時間方向の同定が可能になる。
• 実用的なアルゴリズムを提案し、データにVARMAモデルをフィットさせ、前向きおよび後向きの時間方向において残差と過去の値の間の条件付き独立性を検定する。
• 残差と過去観測値の間の従属関係をテストするために、ガウスカーネルを用いたヒルベルト＝シュミット独立性基準（HSIC）を用いる。
• 一貫性は、一様 mixing 条件および真のモデルが正しく指定されているという仮定の下で証明される。
• VARMA(1,1)から高次元プロセスへの理論的拡張は、行列伝達関数表現と Darmois-Skitovich 定理を用いて行われる。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、多次元時系列の時間方向がその統計的性質から同定可能となるか？
• RQ2 ノイズが非ガウス的である場合、VARMAプロセスの時間反転対称性は破綻するのか？また、その破綻は正しい時間方向の同定に利用可能か？
• RQ3 時間方向推定の性能は、標本サイズ、次元数、プロセスの次数にどのように依存するか？
• RQ4 多次元モデル化は、単変量アプローチに比べて時間方向推定を改善できるか？
• RQ5 モデル誤指定またはデータの依存性がある状況でも、提案されたアルゴリズムは一貫性を保つか？

主な発見

• 多次元VARMAプロセスの時間方向は、ノイズが非ガウス的である場合に限り同定可能であり、非ガウス性の下で時間反転対称性が崩れるためである。
• HSICに基づく残差の独立性検定を用いた提案アルゴリズムは、一様 mixing 条件および正しいモデル指定のもとで一貫性を示す。
• 実験的結果から、多次元モデル化は単変量手法に比べて時間方向推定を顕著に改善することが示された。特に高次元設定において顕著である。
• モデル誤指定に対してもロバストであり、しばしば「判断不能」の結果を示すが、誤った推論を生じさせない。
• 標本サイズが大きくなるほど、次元数が高くなるほど性能が向上し、少なくとも1つのノイズ成分が非ガウス的である場合に顕著である。
• 理論的枠組みは、単変量の結果（Peters et al., 2009）を多次元時系列に一般化し、動画の時間方向推定手法（Pickup et al., 2014）の後向き妥当性を裏付けるものとなった。