[論文レビュー] A multi-dimensional stream and its signature representation

Hao Ni|arXiv (Cornell University)|Sep 10, 2015

Anomaly Detection Techniques and Applications参考文献 1被引用数 3

ひとこと要約

本稿では、多変量データストリームをリードラグ変換したものの署名を、機械学習のための豊富で低次元の特徴表現として用いる手法を提案する。次数pまでの切り捨て署名を活用することで、モーメントや共分散といった基本的な統計的性質が線形汎関数として捉えられ、パラメータ推定や分類に有効に機能することが示された。第一および第二のモーメントが同一であるにもかかわらず、依存構造が異なる2次元ランダムウォークの分類において、ほぼ完璧な分類性能が達成された。

ABSTRACT

The signature of a path is an essential object in the theory of rough paths. The signature representation of the data stream can recover standard statistics, e.g. the moments of the data stream. The classification of random walks indicates the advantages of using the signature of a stream as the feature set for machine learning.

研究の動機と目的

• 多変数データストリームの署名が、構造のない離散的サンプリングにおいても、本質的な統計的情報を保持していることを示すこと。
• 切り捨て署名が、元のストリームの重要な統計的特徴を保ちつつ、効果的な次元削減を可能にすることを示すこと。
• 確率過程のパrameter推定や分類といった機械学習タスクにおいて、署名を有効な特徴セットとして確立すること。
• 増分過程のp次のモーメントが、次数pまでの切り捨て署名の線形汎関数であることを証明し、標準統計量の線形回復を可能にすること。

提案手法

• 離散的でd次元のデータストリームにリードラグ変換を適用し、線形補間によって2d次元のパスを生成することで、時間的順序を保持し、署名計算を可能にする。
• 所定の次数pまでの一様な署名を、順序付き時間区間における反復積分を用いて計算する。
• チェンの恒等式およびシャッフル積の性質を用いて、署名成分を増分過程のモーメントおよびクロスモーメントと代数的に関連付ける。
• 補題5.1を用いて、平均、分散、共分散といった統計量を署名成分の線形結合として表現する。
• 切り捨て署名特徴を用いて線形回帰およびSVM分類を実行し、パrameter推定と確率過程の分類を試みる。
• モーメントと署名成分の間の理論的線形性を根拠に、統計的推定および学習における署名ベース特徴の有用性を正当化する。

実験結果

リサーチクエスチョン

• RQ1 多変数データストリームの署名は、平均や共分散といった標準統計的モーメントを回復できるか？
• RQ2 切り捨て署名は、元のデータストリームの十分かつ低次元の要約としてどの程度有効か？
• RQ3 同一の第一および第二のモーメントを持つが、高次依存構造が異なる確率過程を、署名表現が区別できるか？
• RQ4 特にパrameter境界付近において、署名アプローチは経験的統計量と比較して、パrameter推定でどの程度優れているか？
• RQ5 署名表現は、隠れた依存関係を有する複雑な確率過程の高精度分類を可能にするほど十分に頑健か？

主な発見

• 増分過程のp次のモーメントは、定理4.1で形式化された通り、次数pまでの切り捨て署名の正確な線形汎関数である。
• 増分過程の経験的共分散および分散は、次数2までの署名成分の線形結合として回復可能であり、経験的相関の正確な再構成が可能である。
• 平均と共分散が同一だが依存構造が異なる3次元ランダムウォーク2種類の分類タスクにおいて、次数3の署名を用いたSVM分類で誤分類率が400件中1件（0.25％）にとどまり、優れた性能を示した。
• 標準統計量が失敗するのに対し、署名アプローチは高次依存関係を捉える能力に優れ、依存構造を持つランダムウォークの完全分類が達成された。
• 境界効果により経験的相関が±1付近で失敗する場合でも、理論的には健全なままであることから、情報損失ではなく回帰モデルの選択に起因する問題であることが示された。
• 理論的結果により、署名表現が情報豊富であり、標準統計量の回復が可能であることが確認され、時系列および逐次データ解析における特徴工学の強力な候補であることが示された。