[論文レビュー] Optimizing Market Making using Multi-Agent Reinforcement Learning

Yagna Patel|arXiv (Cornell University)|Jan 1, 2018

Blockchain Technology Applications and Security参考文献 4被引用数 7

ひとこと要約

本論文は、暗号通貨取引における市場メイキング最適化のための2エージェント型深層強化学習フレームワークを提案する。マクロエージェントは分単位の価格データに基づき、買付・売却・保有の意思決定を行う。一方、マイクロエージェントは注文書の内部で指値注文の配置を最適化する。この手法は安定的で、ボラティリティが低い利益成長を達成し、ビットコイン取引のような複雑で動的な金融環境において強化学習の有効性を示している。

ABSTRACT

In this paper, reinforcement learning is applied to the problem of optimizing market making. A multi-agent reinforcement learning framework is used to optimally place limit orders that lead to successful trades. The framework consists of two agents. The macro-agent optimizes on making the decision to buy, sell, or hold an asset. The micro-agent optimizes on placing limit orders within the limit order book. For the context of this paper, the proposed framework is applied and studied on the Bitcoin cryptocurrency market. The goal of this paper is to show that reinforcement learning is a viable strategy that can be applied to complex problems (with complex environments) such as market making.

研究の動機と目的

• 高頻度取引における従来の機械学習手法の限界、たとえば予測遅延の高さや市場の変動への適応性の低さを是正すること。
• 複雑で動的な市場において、戦略的取引意思決定と正確な注文配置を自律的に最適化できる強化学習ベースのソリューションを開発すること。
• マルチエージェント強化学習フレームワークが、実世界に類似したシミュレーテッド環境において、標準的な戦略（ホールド・アンド・バイ、モメンタム投資など）を上回る性能を示すかどうかを評価すること。
• 遅延報酬と高い不確実性を伴う混沌とした、部分的に観測可能な金融環境において、強化学習を用いた市場メイキングの実現可能性を検討すること。

提案手法

• 2エージェント型強化学習アーキテクチャを採用：マクロエージェントは分単位のティックデータに基づき、買・売・保有の意思決定を行う。マイクロエージェントは注文書データを用いて指値注文を配置する。
• マクロエージェントは、市場指標と歴史的価格データに基づき、深層Q学習を用いて行動を選択し、保有資産数の累積カウントを維持する。
• マイクロエージェントは、注文書内での最適な指値注文価格と数量を決定するために深層Q学習を用いるが、10秒に1回までしか注文を出せない制約がある。
• エージェントは、Bittrex（2018年11月2日〜17日）の歴史的ビットコインデータを用いたシミュレーテッド環境で訓練され、マルコフ決定過程（MDP）の定式化と割引された将来報酬を用いる。
• WebSocketによるデータインジェスト、エージェント固有の特徴量抽出、マッチングエンジンを介した行動実行、報酬と状態更新のフィードバックループを統合したパイプラインが構築された。
• 報酬関数は利益を反映するように設計されており、交換手数料と保有行動の調整を加えることで、方策学習の質を向上させた。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント強化学習フレームワークは、複雑で部分的に観測可能な金融環境において、市場メイキング意思決定を効果的に最適化できるか？
• RQ2 戦略的意思決定（マクロエージェント）と実行の精度（マイクロエージェント）を分離することで、単一エージェント型やヒューリスティック手法と比較して、性能がどのように向上するか？
• RQ3 深層Q学習は、現実的な制約を伴うシミュレーテッド・ビットコイン市場において、安定的でボラティリティが低い利益生成戦略を学習できるか、その程度はどの程度か？
• RQ4 報酬形状と方策制約は、マクロエージェントにおける保有行動とリスク管理の学習にどのような影響を及えるか？
• RQ5 データ品質の問題とシミュレーテッド市場ダイナミクスは、マルチエージェントフレームワークのロバストネスにどのような影響を及えるか？

主な発見

• マルチエージェントフレームワークは、安定的でボラティリティが低い利益成長を達成した。累積利益は時間の経過とともに線形に増加し、強固で一貫性のあるパフォーマンスを示した。
• マイクロエージェントは指値注文の配置を効果的に最適化した。全注文の91％が指値注文であった。これは、ベースライン戦略における仮想の成行注文と比較して、交換手数料を削減したことを示している。
• マクロエージェント単体でも高いパフォーマンスを示したが、統合されたマルチエージェント戦略は、マクロエージェント単体のパフォーマンスを下回った。主な要因は、マイクロエージェントが時々市場価格より悪い価格で注文を出していたため、利益が減少したことに起因する。
• フレームワークは、価格トレンドに適応する一貫性のある方策を学習できることを示した。価格が上昇すると予想される場合には購入し、下落すると予想される場合には売却する。
• 本研究では、保有行動に対する報酬が疎らであることと、無制限のポジションリスクのリスクが、さらなる報酬設計と制約統合の必要性を明らかにした。
• WebSocketインターフェースからのデータ腐損や順序が入れ替わったメッセージが観測された。これは、実運用環境への導入にあたって、信頼性の高いデータ検証の必要性を強調している。