[論文レビュー] Reducing statistical time-series problems to binary classification

Daniil Ryabko, Jérémie Mary|arXiv (Cornell University)|Oct 22, 2012

Time Series Analysis and Forecasting参考文献 26被引用数 10

ひとこと要約

本稿では、クラスタリング、同質性検定、三標本問題といった複雑な統計的時系列問題を、二値分類タスクに還元する普遍的な手法を提案する。時系列分布間の新しい「望遠鏡距離」距離計測法を導入することで、二値分類器を用いて一貫して推定可能な距離を構築し、最小限の仮定（定常エルゴード過程）のもとで普遍的一貫性を達成する。また、合成データおよび脳インターフェース（BCI）の実世界データにおいて優れた実験的性能を示す。

ABSTRACT

We show how binary classification methods developed to work on i.i.d. data can be used for solving statistical problems that are seemingly unrelated to classification and concern highly-dependent time series. Specifically, the problems of time-series clustering, homogeneity testing and the three-sample problem are addressed. The algorithms that we construct for solving these problems are based on a new metric between time-series distributions, which can be evaluated using binary classification methods. Universal consistency of the proposed algorithms is proven under most general assumptions. The theoretical results are illustrated with experiments on synthetic and real-world data.

研究の動機と目的

• 強い時系列依存性とi.i.d.でない構造により、従来困難とされてきた統計的時系列問題（クラスタリング、同質性検定、三標本問題）を扱うため。
• 二値分類手法の理解が進んでいるのに対し、複雑な時系列推論にはギャップがあることを埋めるために、これらの問題を分類タスクに還元するため。
• 特に定常エルゴード過程という最小限の仮定のもとで、パラメトリックモデルや有限記憶モデルを必要としない普遍的かつ一貫性のある手法を開発するため。
• 混合条件のもとで有限標本の性能保証を導出し、理論的一貫性を実用的状況にまで拡張するため。
• 従来の手法が失敗するような、脳インターフェース信号のような挑戦的な実世界データにおいて、本手法の有効性を示すため。

提案手法

• 時系列分布の有限次元マージナル間の距離を、減少する重みを用いて集約する新しい距離計測法「望遠鏡距離」を導入する。
• マージナル分布間の基本的距離として、ヒルベルト半距離 $ d_{\mathcal{H}}(P,Q) = \sup_{h \in \mathcal{H}} |\mathbb{E}_P h - \mathbb{E}_Q h| $ を用いる。
• テレスコープ的技法を採用：時刻ラグごとの $ d_{\mathcal{H}} $-距離を重み $ w_k = k^{-2} $ で合算し、収束性と一貫性を保証する。
• 分類誤差率を用いた一貫性推定が可能なことを利用し、二値分類アルゴリズム（例：SVM）を用いて望遠鏡距離を推定する。
• クラスタリングや仮説検定における類似度指標として推定された望遠鏡距離を用い、平均リンク法および距離差に基づく仮説検定を適用する。
• 混合条件のもとで有限標本の境界を導出し、データが限られた状況でも性能保証が得られることを保証する。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングや同質性検定といった統計的時系列問題を、二値分類手法のみで一貫して解けるか？
• RQ2 定常性やエルゴード性といった最小限の仮定のもとで、普遍的な時系列分布間の距離を定義できるか？
• RQ3 分類アルゴリズムを用いて望遠鏡距離をデータからどのように推定できるか、またそれがどのような一貫性保証を提供するか？
• RQ4 提案手法は、BCI信号のような高次元で強い依存関係を示す実世界の時系列データにおいて、競争力のある性能を達成できるか？
• RQ5 混合条件のもとで、クラスタリングや同質性検定に対して、どのような有限標本の性能境界を導出できるか？

主な発見

• 望遠鏡距離は、パラメトリックモデルや有限記憶モデルの仮定を一切必要とせず、定常エルゴード時系列分布に対して普遍的一貫性を示す。
• 1000長さの時系列を用いた合成データでは、クラスタリング精度が84％に達し、DTW（46％）を上回り、他のベースラインと同等以上に優れる。
• BCIコンペティションIIIのデータセットでは、TS_SVM手法が左足（84％）、右足（81％）、文字想起（61％）の分類で、DTWを上回り、教師ありSVMと同等の性能を示す。
• 混合条件のもとで有限標本の性能保証が導出され、実用的応用における理論的保証が得られる。
• 従来のパラメトリックおよびノンパラメトリック手法が、複雑な依存構造と非定常性のため失敗する実世界のBCIデータにおいて、強い実験的性能を示す。
• 無理数回転に基づく時系列を用いた合成実験により、長距離依存性や非マルコフ構造に対しても本手法が頑健であることが示された。