[論文レビュー] The iisignature library: efficient calculation of iterated-integral signatures and log signatures

Jeremy Reizenstein, Benjamin Graham|arXiv (Cornell University)|Feb 22, 2018

Image Processing and 3D Reconstruction参考文献 3被引用数 22

ひとこと要約

この論文では、繰り返し積分シグネチャおよび区分的線形で次元が固定されたパスの対数シグネチャを効率的に計算するための高速なPythonライブラリ、iisignatureを提示する。自由リー代数とリンドン基底に基づく最適化アルゴリズムを導入し、特に低次元から中程度の次元で密度の高いシグネチャに対して、従来手法と比較して最大100倍の高速化を達成した。メモリ使用量の妥当性も検証され、機械学習パイプラインにおける微分可能計算をサポートしている。

ABSTRACT

Iterated-integral signatures and log signatures are vectors calculated from a path that characterise its shape. They come from the theory of differential equations driven by rough paths, and also have applications in statistics and machine learning. We present algorithms for efficiently calculating these signatures, and benchmark their performance. We release the methods as a Python package.

研究の動機と目的

• 密度が高く次元が固定されたパスのための、高速かつ効率的な繰り返し積分シグネチャおよび対数シグネチャの実装を開発すること。
• 手書き認識やEEG信号解析などのパスデータを扱う機械学習アプリケーションにおける性能ボトルネックを解消すること。
• 自由リー代数やリンドン基底といった代数的構造を活用して、シグネチャおよび対数シグネチャ計算の計算複雑性を低減すること。
• 深層学習フレームワークと互換性があり、エンドツーエンドの学習が可能な、微分可能なスケーラブルなライブラリを提供すること。

提案手法

• ライブラリは自由リー代数構造を用いて、再帰的積分によりシグネチャを計算し、重複計算を回避する。
• 対数シグネチャ計算の効率化のためにリンドン基底を採用し、必要な演算回数を削減するとともにキャッシュ局所性を向上させる。
• 直接的なC++コード生成と手動最適化ループを用いて、メモリ遅延とデータ依存性を最小限に抑える。
• 対数シグネチャ計算には直接法と射影法の両方をサポートし、特に高レベルでは射影法がよりメモリ効率的である。
• シグネチャの連結、スケーリング、シグネチャ演算を通したバックプロパゲーションをサポートし、ニューラルネットワークへの統合を可能にする。
• 背景オーバーヘッドを差し引いたメモリ使用量のプロファイル作成により、ピークメモリ使用量をValgrindのMassifツールで測定し、最小化を図る。

実験結果

リサーチクエスチョン

• RQ1 密度が高く次元が低いパスに対して、繰り返し積分シグネチャをどのように効率的に計算できるか？（特に多くのシグネチャ要素が非ゼロとなる状況）
• RQ2 自由リー代数やリンドン基底といった特定の代数的構造は、シグネチャおよび対数シグネチャ計算の計算複雑性をどのように低減できるか？
• RQ3 iisignatureライブラリの性能は、esig や CoRoPa などの既存のオープンソース代替品と比較して、速度およびメモリ使用量の点でどの程度優れているか？
• RQ4 手動最適化されたC++コード生成とアルゴリズム最適化は、シグネチャ計算におけるメモリ遅延をどの程度低減し、キャッシュ効率を向上させられるか？
• RQ5 このライブラリは、順序付きまたはパスベースのデータを処理するニューラルネットワークの学習に必要な微分可能演算をサポートできるか？

主な発見

• iisignatureライブラリは、特に密度が高く次元が低い設定において、従来の実装と比較して最大100倍の高速化を達成した。
• 対数シグネチャ計算におけるリンドン基底の使用により、演算回数が削減され、キャッシュ性能が向上し、実行速度の向上と低メモリ使用量が実現された。
• 10ステップの3次元パスでは、ピークメモリ使用量がレベルに応じて予測可能に増加し、高レベルでは射影法が直接法よりも効率的であることが分かった。
• 繰り返し実行された場合でも一貫した性能を示し、メモリ使用量の測定値は高い再現性を示した。
• 微分可能演算がサポートされており、パスベースのデータに対するエンドツーエンドの学習が可能な深層学習パイプラインへの統合が可能である。
• 代数的構造からのコード生成により、測定可能な性能向上が得られ、さらにベクトル化やLLVMベースのコンパイルによる最適化も可能である。