[論文レビュー] Rough paths, Signatures and the modelling of functions on streams

Terry Lyons|arXiv (Cornell University)|May 18, 2014

Image and Signal Denoising Methods参考文献 19被引用数 63

ひとこと要約

この論文は、rough path理論とシグネチャ特徴量を用いてストリーム上の関数をモデル化する画期的なフレームワークを導入し、複雑で高周波のデータに対する有効な機械学習を可能にする。シグネチャ変換を普遍的かつ忠実な特徴マップとして活用することで、経路法則における線形回帰が可能となり、低次のシグネチャ成分のみを用いても、時間帯ごとの金融時系列の分類において高い精度（AUC > 0.98）を達成する。

ABSTRACT

Rough path theory is focused on capturing and making precise the interactions between highly oscillatory and non-linear systems. It draws on the analysis of LC Young and the geometric algebra of KT Chen. The concepts and the uniform estimates, have widespread application and have simplified proofs of basic questions from the large deviation theory and extended Ito's theory of SDEs; the recent applications contribute to (Graham) automated recognition of Chinese handwriting and (Hairer) formulation of appropriate SPDEs to model randomly evolving interfaces. At the heart of the mathematics is the challenge of describing a smooth but potentially highly oscillatory and vector valued path $x_{t}$ parsimoniously so as to effectively predict the response of a nonlinear system such as $dy_{t}=f(y_{t})dx_{t}$, $y_{0}=a$. The Signature is a homomorphism from the monoid of paths into the grouplike elements of a closed tensor algebra. It provides a graduated summary of the path $x$. Hambly and Lyons have shown that this non-commutative transform is faithful for paths of bounded variation up to appropriate null modifications. Among paths of bounded variation with given Signature there is always a unique shortest representative. These graduated summaries or features of a path are at the heart of the definition of a rough path; locally they remove the need to look at the fine structure of the path. Taylor's theorem explains how any smooth function can, locally, be expressed as a linear combination of certain special functions (monomials based at that point). Coordinate iterated integrals form a more subtle algebra of features that can describe a stream or path in an analogous way; they allow a definition of rough path and a natural linear "basis" for functions on streams that can be used for machine learning.

研究の動機と目的

• 複雑で変化し続ける情報ストリームを要約・モデル化するための汎用的かつデータに依存しない手法を開発すること。
• rough path理論とシグネチャ変換を応用し、高周波で非線形なデータストリームに対しても有効な機械学習を可能にすること。
• シグネチャに基づく特徴量が、元のデータが正規化されたりノイズ除去されたりしても、関数的回帰や分類に必要な経路の特徴を捉えられることを示すこと。
• 期待シグネチャとシグネチャの特性関数を通じて、確率解析、関数的回帰、機械学習の間の理論的かつ実用的な橋渡しを確立すること。

提案手法

• 経路のシグネチャは、経路の全履歴を段階的かつ代数的に構造化された方法で符号化する普遍的で非可換な特徴マップとして用いられる。
• 座標の反復積分を用いてシグネチャを計算し、ストリーム上の関数の自然な線形基底を形成する。
• 経路上の関数を近似するためにシグネチャ成分に線形回帰を適用し、LASSO正則化を用いて顕著な特徴を選択する。
• 期待シグネチャとシグネチャの特性関数を用いて経路の条件付き法則をモデル化し、経路分布に対する回帰を可能にする。
• 有界 Variation を持つ経路に対してシグネチャ変換が忠実であることに加え、細かいスケールの詳細を捉えることなく経路効果を捉える能力を活用する。
• 実用的なパイプラインを実装：金融時系列を正規化し、低次のシグネチャ特徴量を計算し、LASSO正則化付き線形回帰を適用し、AUC、K-S距離、分類精度を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 シグネチャ変換は、任意の滑らかで振動する経路に対して、有効な機械学習を可能にする普遍的かつ忠実な特徴表現として機能するか？
• RQ2 シグネチャ成分における線形回帰は、金融市場のパターンのような、複雑で非線形な依存関係を、時系列データにおいてどの程度捉えることができるか？
• RQ3 正規化によって取引量やボラティリティの影響を除去した後でも、シグネチャ特徴量は金融データにおける異なる時間的レジームをどの程度明確に区別できるか？
• RQ4 期待シグネチャは、ある経路が与えられたときの経路の条件付き法則に対する、取り扱いやすく次元の低い近似を提供できるか？
• RQ5 高次元でノイズが多く、マルコフ的でないデータストリームを扱う現実世界の分類タスクにおいて、シグネチャベースのモデルの性能はいかがなものか？

主な発見

• 出側データにおいてコルモゴロフ・スミルノフ距離が 0.84 に達し、時間帯ごとの分離が顕著であることが示された。
• 出側データにおける受信者操作特性曲線の下側面積（AUC）は 0.986 に達し、優れた識別能力を示した。
• 出側データにおける正しく分類された割合は 89% であり、強固な一般化性能が確認された。
• LASSOに基づく特徴選択により、少数のシグネチャ成分が特定され、2次元プロット上でも時間帯のクラスタが明確に分離された。
• 期待シグネチャとシグネチャの特性関数が、経路の法則を特徴づけることができ、経路分布に対する線形回帰を可能にすることが示された。
• シグネチャ変換が有界変動経路に対して忠実な表現であることが判明し、各シグネチャに対して一意の最短代表が存在することが確認された。