[論文レビュー] Reinforcement Learning Applied to Trading Systems: A Survey

Leonardo Kanashiro Felizardo, Francisco Caio Lima Paiva+2 more|arXiv (Cornell University)|Nov 1, 2022

Auction Theory and Applications被引用数 5

ひとこと要約

本サーベイは、金融市場取引に応用された強化学習（RL）研究29件を体系的かつ理論的根拠に基づいて分析し、状態、行動、報酬の定式化といった設計要素を統一するための標準化されたワークフロープロセスパイプラインを提案する。ベストプラクティスを特定し、標準化と再現可能性のギャップを浮き彫りにし、分野の発展を促進するため、ローリングウインドウ評価とオープンソースコードの共有を提唱する。これにより、より強固で比較可能かつ信頼性の高いRLベースの取引システムの実現が可能となる。

ABSTRACT

Financial domain tasks, such as trading in market exchanges, are challenging and have long attracted researchers. The recent achievements and the consequent notoriety of Reinforcement Learning (RL) have also increased its adoption in trading tasks. RL uses a framework with well-established formal concepts, which raises its attractiveness in learning profitable trading strategies. However, RL use without due attention in the financial area can prevent new researchers from following standards or failing to adopt relevant conceptual guidelines. In this work, we embrace the seminal RL technical fundamentals, concepts, and recommendations to perform a unified, theoretically-grounded examination and comparison of previous research that could serve as a structuring guide for the field of study. A selection of twenty-nine articles was reviewed under our classification that considers RL's most common formulations and design patterns from a large volume of available studies. This classification allowed for precise inspection of the most relevant aspects regarding data input, preprocessing, state and action composition, adopted RL techniques, evaluation setups, and overall results. Our analysis approach organized around fundamental RL concepts allowed for a clear identification of current system design best practices, gaps that require further investigation, and promising research opportunities. Finally, this review attempts to promote the development of this field of study by facilitating researchers' commitment to standards adherence and helping them to avoid straying away from the RL constructs' firm ground.

研究の動機と目的

• 強化学習（RL）を金融市場取引に応用する際の標準化不足と概念的曇りを解消するため、基礎的なRL理論に基づいた分析を実施すること。
• 近年のRLベースの取引システムにおける、状態、行動、報酬、評価設定の設計パターンを特定し、体系化すること。
• 既存の研究において顕在する再現可能性、評価の厳密さ、および手法の一貫性の欠如といった深刻なギャップを浮き彫りにすること。
• ローリングウインドウ評価、オープンソースコード共有、RL形式主義への準拠といったベストプラクティスを推進し、信頼性と比較可能性を高めること。
• 今後の研究を導くため、アクタクリティック手法、自然言語処理（NLP）や予測モデルとの統合、RLベースの市場効率性指標の開発といった有望な方向性を同定すること。

提案手法

• 2017年から2022年までの、強化学習を取引システムに応用した29件の最近論文を対象とした体系的文献レビューを実施した。
• 強化学習のコアな概念（状態表現、行動空間、報酬設計、環境ダイナミクス）に基づき、統一されたワークフロープロセスパイプラインを提案した。
• データ入力、前処理、状態および行動の構成、RLアルゴリズムの選択、評価設定、パフォーマンス指標といった、主要な設計次元に沿って研究を分類した。
• ローリングウインドウ評価、統計的有意性の検定、コードの公開による再現可能性といった基準を用いて、研究の方法論的厳密性を評価した。
• マークフ・決定過程、価値関数、ポリシー勾配といった理論的RLの基盤を用い、形式的RL構造への整合性を評価した。
• アルゴリズムの採用傾向（例：アクタクリティックモデル）や、外部技術（例：アテンションメカニズム、予測モデル）との統合の動向を同定した。

実験結果

リサーチクエスチョン

• RQ1 近年のRLベースの取引システムにおいて、状態、行動、報酬の定式化における支配的設計パターンは何か？
• RQ2 研究間で評価設定とパフォーマンス指標はどのように異なるのか。その影響は、比較可能性にどのような影響を及えるか？
• RQ3 既存の研究が、強化学習の基本的形式主義にどの程度準拠しているのか。その乖離が生じる場合、どのような結果をもたらすのか？
• RQ4 ローリングウインドウ評価やオープンソースコードの欠如といった、方法論的欠陥は、再現可能性と研究進展をどの程度阻害しているのか？
• RQ5 自然言語処理（NLP）や予測モデルとの統合といった、強化学習の取引応用分野における新たな研究方向性は、どのような可能性を示しているか？

主な発見

• 29件の研究のうち、唯一の研究（1件）のみがそのソースコードを公開しており、分野全体における再現可能性のギャップが顕著に浮き彫りになった。
• ローリングウインドウ評価は、安定性、一般化性能、統計的有意性の評価において重要であるにもかかわらず、少数の研究でのみ採用されていた。
• 多くの研究が、報酬設計や状態表現の面で形式的RL原則から逸脱しており、RL理論との整合性を損なうリスクを内在している。
• アクタクリティック手法の採用が増加しており、近年の研究では、より安定的かつサンプル効率の良い学習へのシフトが顕著に見られた。
• 予測ツールやNLPエンコーダーといった外部モデルの統合が増加しており、より洗練された状態表現のトレンドが顕在している。
• 評価と報告手法における標準化の欠如が深刻であり、研究間の数値比較や進捗の追跡を著しく制限している。