[論文レビュー] Qlib: An AI-oriented Quantitative Investment Platform

Xiao Yang, Weiqing Liu+3 more|arXiv (Cornell University)|Sep 22, 2020

Stock Market Forecasting Methods参考文献 21被引用数 29

ひとこと要約

Qlibは、現代のAI駆動型定量的金融工学が直面するインfra構築とワークフローの課題に対処するために設計された、AI指向の定量的投資プラットフォームです。データ処理、モデル学習、バックテストのための高パフォーマンスでカスタマイズ可能なパイプラインを提供し、従来のデータベースに比べてデータ読み込みおよび特徴量計算の性能が顕著に向上しています。式キャッシュを活用することで最大80.4%の時間短縮が達成され、メモリキャッシュにより24%の高速化も実現しています。

ABSTRACT

Quantitative investment aims to maximize the return and minimize the risk in a sequential trading period over a set of financial instruments. Recently, inspired by rapid development and great potential of AI technologies in generating remarkable innovation in quantitative investment, there has been increasing adoption of AI-driven workflow for quantitative research and practical investment. In the meantime of enriching the quantitative investment methodology, AI technologies have raised new challenges to the quantitative investment system. Particularly, the new learning paradigms for quantitative investment call for an infrastructure upgrade to accommodate the renovated workflow; moreover, the data-driven nature of AI technologies indeed indicates a requirement of the infrastructure with more powerful performance; additionally, there exist some unique challenges for applying AI technologies to solve different tasks in the financial scenarios. To address these challenges and bridge the gap between AI technologies and quantitative investment, we design and develop Qlib that aims to realize the potential, empower the research, and create the value of AI technologies in quantitative investment.

研究の動機と目的

• 定量的投資ワークフローにおけるAIネイティブなインfraの増大するニーズに対応すること。
• 従来のデータベースで一般的に見られる、データ読み込み、特徴量計算、モデル学習におけるパフォーマンスボトルネックを克服すること。
• 柔軟で設定駆動のパイプラインエンジンを通じて、エンドツーエンドのAI駆動型定量的リサーチを可能にすること。
• 式キャッシュおよびデータセットキャッシュを含む、ファイナンスデータワークロードに特化した最適化を提供すること。
• AI技術と定量的金融の間のギャップを埋めるために、ドメインに配慮したツールとハイパフォーマンスコンピューティングを統合すること。

提案手法

• ユーザーが宣言的設定ファイルにより複雑な定量的リサーチワークフローを定義できる「設定駆動型パイプラインエンジン（CDPE）」を導入すること。
• ファイナンス時系列データに最適化されたコンactなカラム形式のストレージフォーマットを採用し、高速なメモリアクセスと効率的なI/Oを実現すること。
• 複数回の学習実行においても再計算を回避するため、式キャッシュを実装し、派生特徴量（例：テクニカルインジケーター）の再計算を防ぐこと。
• 事前に計算された特徴量配列を永続化するデータセットキャッシュを活用し、繰り返し実行における冗長な計算を大幅に削減すること。
• データ処理およびモデル学習ワークロードの高速化を図るため、マルチコア並列処理をサポートすること。
• エンドツーエンドの強化学習ベースの取引戦略開発を支援する応答性の高い強化学習シミュレータを提供すること。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルで高パフォーマンスなインfraによって、AI駆動型定量的投資ワークフローはどのように効率的に支援できるか？
• RQ2 ファイナンス時系列ワークロードに特化したストレージおよび処理最適化によって、どの程度のパフォーマンス向上が達成できるか？
• RQ3 式キャッシュおよびデータセットキャッシュといったキャッシュ機構によって、反復的モデル学習における冗長な計算はどの程度削減できるか？
• RQ4 実際の定量的投資タスクにおいて、Qlibのインfraは一般用途データベース（例：MySQL、MongoDB、InfluxDB、HDF5）と比較してどの程度優れているか？
• RQ5 統合的で設定可能なプラットフォームは、AIベースの取引戦略の開発および評価をどのように加速できるか？

主な発見

• Qlibのコンactなストレージフォーマットは最適化されたHDF5ファイルと同等の読み込み速度を達成しており、I/Oオーバーヘッドの低減により一般用途データベースを上回る性能を発揮しています。
• 式キャッシュを有効にした場合、キャッシュミスが発生しない限り、特徴量計算に要する時間の80.4%を削減できます。
• 式キャッシュとデータセットキャッシュの両方を有効にすると、キャッシュなしの構成と比較して、合計タスク時間は最大24%短縮されます。
• マルチコア並列処理の活用により、計算時間は顕著に短縮され、Qlib +E +Dの構成ではマルチCPU環境でほぼ線形のスルーレート向上が達成されています。
• Qlibのインfraは、定量的投資におけるエンドツーエンドのデータ処理および特徴量計算タスクにおいて、HDF5、MySQL、MongoDB、InfluxDBを上回るパフォーマンスを発揮しています。
• プラットフォームのキャッシュ機構および最適化されたストレージ設計により、金融分野における反復的でデータ集約的なAIワークフローに特に効果的であることが示されています。