[論文レビュー] Embedding and learning with signatures

Adeline Fermanian|arXiv (Cornell University)|Nov 29, 2019

Music and Audio Processing参考文献 42被引用数 12

ひとこと要約

本論文は、離散的データを連続的経路に埋め込み、反復積分を計算することで、順序付きかつ多次元時系列データのための汎用的で幾何学的な特徴表現「シグネチャ法」を提案する。実験では、さまざまなデータセットやアルゴリズムにおいて、リードラグ埋め込みが一貫して他の手法を上回り、計算コストを最小限に抑えつつ最先端の精度を達成している。これは、XGBoostのような単純なモデルと組み合わせても同様に有効である。

ABSTRACT

Sequential and temporal data arise in many fields of research, such as quantitative finance, medicine, or computer vision. A novel approach for sequential learning, called the signature method and rooted in rough path theory, is considered. Its basic principle is to represent multidimensional paths by a graded feature set of their iterated integrals, called the signature. This approach relies critically on an embedding principle, which consists in representing discretely sampled data as paths, i.e., functions from $[0,1]$ to $\mathbb{R}^d$. After a survey of machine learning methodologies for signatures, the influence of embeddings on prediction accuracy is investigated with an in-depth study of three recent and challenging datasets. It is shown that a specific embedding, called lead-lag, is systematically the strongest performer across all datasets and algorithms considered. Moreover, an empirical study reveals that computing signatures over the whole path domain does not lead to a loss of local information. It is concluded that, with a good embedding, combining signatures with other simple algorithms achieves results competitive with state-of-the-art, domain-specific approaches.

研究の動機と目的

• 異なるパス埋め込みがシグネチャベースの学習性能に与える影響を評価すること。
• 全パス上でのシグネチャ計算が局所的情報を損なうかどうかを評価すること。
• 時系列分類において、シグネチャベースのモデルと最先端の分野特化型アプローチを比較すること。
• 高次元順序付きデータにおけるシグネチャ特徴のロバスト性とスケーラビリティを調査すること。
• シグネチャ法を、順序付き学習における特化型モデルの代替として汎用的で効率的かつ競争力のある手法として確立すること。

提案手法

• 時間、リードラグ、時間-リードラグなど、さまざまな埋め込みを用いて、離散的順序データを $[0,1] \to \mathbb{R}^d$ 上の連続的経路に表現する。
• 指定された切断順序までの一連の反復積分として、各経路のシグネチャをgradedな特徴集合として計算する。
• 分類の目的で、標準的な機械学習アルゴリズム（例：XGBoost、k-NN、ニューラルネットワーク）をシグネチャ特徴に適用する。
• 各成分とその直後の値を連結することで、時系列ダイナミクスの幾何的表現を向上させるリードラグ埋め込みを用いる。
• 複数のデータセットを通じて、$F_1$-スコアや学習時間といった標準的な指標を用いてモデル性能を評価する。
• シグネチャ計算を並列化することで、大規模データセットへのスケーラビリティを実現し、ラップトップ上で1サンプルあたり約0.0008秒の処理時間を達成した。

実験結果

リサーチクエスチョン

• RQ1 時間やリードラグなどの異なるパス埋め込みは、シグネチャベースのモデルの予測精度にどのように影響するか？
• RQ2 全パス領域上でシグネチャを計算することで、局所的時系列情報が損なわれるか？
• RQ3 単純な深層学習でないアルゴリズムと組み合わせたシグネチャ特徴は、最先端の分野特化型モデルと同等の性能を達成できるか？
• RQ4 次元数や特徴数の増加に伴って、シグネチャ法はどのようにスケーリングするか？
• RQ5 リードラグ埋め込みが、多様なデータセットやアルゴリズムで優れた性能を示す理由は何か？

主な発見

• リードラグ埋め込みは、テストした全データセットおよび全アルゴリズムにおいて、一貫して他の埋め込みを上回り、顕著な優位性を示した。
• 全パスのシグネチャは、局所的情報を十分に保持しており、サブパスに基づくシグネチャと比較しても高い性能を示した。
• XGBoostを用いたシグネチャベースのモデルは、Quick, Draw! データセットで93.5%の $F_1$-スコアを達成し、深層学習モデルを1.5ポイント上回ったが、はるかに計算効率が高かった。
• ラップトップ上でのシグネチャ計算は1サンプルあたりわずか約0.0008秒であり、Quick, Draw! の68,000サンプルを含む大規模データセットの高速処理を可能にした。
• 高次元のMotion Senseデータセットで最も強い結果を出したため、多次元時系列ストリームの処理において特に優れた性能を示した。
• 100,000個を超えるシグネチャ特徴に対しても性能が安定しており、高次元性に強いこと、およびビッグデータへのスケーラビリティの可能性が示された。