[論文レビュー] Signatory: differentiable computations of the signature and logsignature transforms, on both CPU and GPU

Patrick Kidger, Terry Lyons|arXiv (Cornell University)|Jan 3, 2020

Parallel Computing and Optimization Techniques参考文献 35被引用数 51

ひとこと要約

Signatory は、CPU および GPU に対応した、署名変換とログ署名変換の微分計算を可能にするライブラリであり、新規アルゴリズムの改良と事前計算戦略を含み、PyTorch 統合を備えています。

ABSTRACT

Signatory is a library for calculating and performing functionality related to the signature and logsignature transforms. The focus is on machine learning, and as such includes features such as CPU parallelism, GPU support, and backpropagation. To our knowledge it is the first GPU-capable library for these operations. Signatory implements new features not available in previous libraries, such as efficient precomputation strategies. Furthermore, several novel algorithmic improvements are introduced, producing substantial real-world speedups even on the CPU without parallelism. The library operates as a Python wrapper around C++, and is compatible with the PyTorch ecosystem. It may be installed directly via exttt{pip}. Source code, documentation, examples, benchmarks and tests may be found at exttt{\url{https://github.com/patrick-kidger/signatory}}. The license is Apache-2.0.

研究の動機と目的

• 署名とログ署名変換を計算するための CPU および GPU 対応ライブラリ Signatory を紹介する。
• ML ワークフローにおける微分実行の実用的な高速化と新しいアルゴリズム技術を紹介する。
• 区間の効率的なクエリのための前処理と事前計算戦略を提供する。
• PyTorch との統合と全変換を通じたバックプロパゲーションを示す。

提案手法

• 融合乗算・指数化を用いてスカラー乗算と漸近的計算量を削減する。
• 任意の区間クエリに O(1) 時間で答えるための O(L) 前処理戦略を提案する。
• Lyndon 基底を超えるより効率的な logsignature 基底を導入して計算を高速化する。
• カスタム CUDA コードなしで LibTorch を介して並列 CPU (OpenMP) および GPU サポートを実装する。
• 速度とメモリ効率のための手書きの逆伝播を提供する。

実験結果

リサーチクエスチョン

• RQ1 署名とログ署名変換を CPU と GPU の両方で実際の高速化を伴い微分可能に計算できるか？
• RQ2 融合乗算・指数化、前処理、代替基底などの新しいアルゴリズム技術は、既存のライブラリより現実世界のパフォーマンス向上をもたらすか？
• RQ3 （log）署名の区間クエリを線形時間または定数時間で効率的に回答できるか？
• RQ4 これらの変換を通じた逆伝播は深層学習ワークフローにとって実現可能で効率的か？
• RQ5 Signatory は PyTorch へどの程度統合され、エンドツーエンドの訓練をサポートしているか？

主な発見

• Signatory は以前の CPU 実装や iisignature など他の選択肢と比較して、GPU 実行よりも大幅な速度向上を達成している。
• GPU サポートは訓練中の CPU と GPU 間のデータ転送を減らすことで大きな性能向上を実現する。
• 逆伝播は速度とメモリ効率のために手書きの勾配で完全にサポートされている。
• 事前計算により O(L) の前処理後に任意区間の O(1) クエリを可能にする。
• 新規の logsignature 基底は伝統的な Lyndon 基底より計算効率の改善を提供する。