[論文レビュー] Tick: a Python library for statistical learning, with a particular emphasis on time-dependent modelling

Emmanuel Bacry, Martin Bompaire+2 more|arXiv (Cornell University)|Jul 10, 2017

Point processes and geometric inequalities参考文献 11被引用数 27

ひとこと要約

tick は、ハーケス過程、一般化線形モデル、生存分析などの時間依存モデルに焦点を当てた、高速な Python ライブラリである。C++ で加速されたモジュラー最適化アルゴリズム（SVRG、SDCA、およびプロキシマル・ソルバーを含む）を活用しており、マルチコアシステム上で高速かつスケーラブルな推論を実現し、PtPack や hawkes R といった既存のライブラリと比較して、計算速度で数個のオーダーも上回る性能を発揮する。

ABSTRACT

Tick is a statistical learning library for Python~3, with a particular emphasis on time-dependent models, such as point processes, and tools for generalized linear models and survival analysis. The core of the library is an optimization module providing model computational classes, solvers and proximal operators for regularization. tick relies on a C++ implementation and state-of-the-art optimization algorithms to provide very fast computations in a single node multi-core setting. Source code and documentation can be downloaded from https://github.com/X-DataInitiative/tick

研究の動機と目的

• Python における時間依存統計モデルの包括的で高性能なオープンソースツールの不足に対処すること。
• 点過程にとどまらない幅広いモデルをサポートするモジュラーで拡張可能な最適化フレームワークを提供すること。
• ハーケス過程のための高度な推論アルゴリズム（非パラメトリックおよびパラメトリック推定器を含む）を研究者および実務家が簡単にアクセス可能で効率的に利用できるようにすること。
• 特に大規模データセットにおいて、PtPack や hawkes R と比較して、シミュレーションおよびフィッティングの両面で高速性を顕著に上回ること。
• SVRG や SDCA といった最新の最適化技術を、scikit-learn と互換性のある API に統合して、使いやすさと拡張性を向上させること。

提案手法

• C++ を用いたパフォーマンス最適化のモジュラーな最適化コアに基づき、Python API を介してソルバーやプロキシマル演算子を公開している。
• スケーラブルな学習を実現するため、Stochastic Variance Reduced Gradient (SVRG) や Stochastic Dual Coordinate Ascent (SDCA) といった高度な最適化アルゴリズムを実装している。
• L2、L1、グループ L1、全変動量など、合成可能なプロキシマル演算子とソルバーを用いて、多様なモデルをサポートする。
• 指数関数的、ガウス型、基底関数型のカーネルを含む、さまざまなカーネルタイプを備えたハーケス過程のシミュレーションおよび推論ツールを提供している。
• 一貫性と使いやすさを確保するため、scikit-learn API を準拠している。これにより、既存の機械学習ワークフローへのシームレスな統合が可能である。
• 合成データおよび実世界のデータセット（高頻度金融データや地震の余震記録など）を用いて、マルチコアシステム上でベンチマークを実施している。

実験結果

リサーチクエスチョン

• RQ1 Python ライブラリが、ハーケス過程のような時間依存モデルについて、使いやすさとモularity を保ちながらも、高性能な推論を達成できるか。
• RQ2 tick の最適化スタックは、PtPack や hawkes R といった既存のライブラリと比較して、速度とスケーラビリティにおいてどの程度優れているか。
• RQ3 モジュラーなプロキシマル最適化と高度なソルバーを用いることで、多様な統計モデルにおける推論効率はどの程度向上するか。
• RQ4 非パラメトリックおよびパラメトリック推定アルゴリズムを統合し、単一のアクセスしやすく効率的なフレームワークとして統合できるか。
• RQ5 tick は、大規模な時系列モデリングタスクにおいて、複数の CPU コアにどのようにスケーリングするか。

主な発見

• tick は、特に 5×10^7 件のイベントを含む大規模データセットにおいて、hawkes R や PtPack と比較して、シミュレーションおよびフィッティングの両面で数個のオーダーも上回る計算速度を示した。
• 16 コアシステムにおいて、tick は強力なスケーラビリティを示し、大規模な推論タスクの計算時間を顕著に短縮した。
• EM、基底関数カーネル、ウィーナー＝ホプフ、NPHC を含む、包括的なハーケス過程推定アルゴリズムの実装に成功しており、高い正確性とパフォーマンスを達成した。
• scikit-learn とのベンチマークにより、tick のソルバーがロジスティック回帰においても競争力を持つことが確認され、時間依存モデルにとどまらない広範な適用可能性が裏付けられた。
• C++ で加速されたソルバーやプロキシマル演算子の使用により、正則化付きのコックス回帰やポisson回帰などのモデルの効率的学習が可能になった。
• 高頻度金融データや地震の余震分析といった実世界の応用事例から、tick が複雑な実データセットにおいて実用的で頑健な性能を発揮することが実証された。