[論文レビュー] Inferring agent objectives at different scales of a complex adaptive system

Dieter Hendricks, Adam D. Cobb+3 more|arXiv (Cornell University)|Dec 4, 2017

Complex Systems and Decision Making被引用数 4

ひとこと要約

本稿は、集計された市場行動からスケール別報酬関数を推定することで、金融市場マイクロ構造におけるエージェントの目的を推定するマルチスケール逆強化学習フレームワークを提案する。時間的に集約された状態・行動軌道に最大エントロピー逆強化学習（MaxEnt IRL）を適用した結果、特徴ベクトルの相対的吸引力が時間スケールによって異なることが明らかになった——これは、高頻度と長期的視点で異なるエージェントの目的があることを示唆し、市場ダイナミクスに階層的構造が存在することを示唆する。

ABSTRACT

We introduce a framework to study the effective objectives at different time scales of financial market microstructure. The financial market can be regarded as a complex adaptive system, where purposeful agents collectively and simultaneously create and perceive their environment as they interact with it. It has been suggested that multiple agent classes operate in this system, with a non-trivial hierarchy of top-down and bottom-up causation classes with different effective models governing each level. We conjecture that agent classes may in fact operate at different time scales and thus act differently in response to the same perceived market state. Given scale-specific temporal state trajectories and action sequences estimated from aggregate market behaviour, we use Inverse Reinforcement Learning to compute the effective reward function for the aggregate agent class at each scale, allowing us to assess the relative attractiveness of feature vectors across different scales. Differences in reward functions for feature vectors may indicate different objectives of market participants, which could assist in finding the scale boundary for agent classes. This has implications for learning algorithms operating in this domain.

研究の動機と目的

• 金融市場における異なるエージェントクラスが、時間スケールごとに異なる目的で動作する仕組みを理解すること。
• 集計された市場データから複数の時間スケールで有効な報酬関数を推定する手法を開発すること。
• スケールごとの報酬関数の違いが、異なるエージェントの目的や戦略的行動を示しているかどうかを調査すること。
• スケール固有の状態表現と目的を特定することで、マルチスケール学習アルゴリズムの設計を支援すること。
• 高頻度取引者、市場メイカー、長期投資家などのエージェントクラスの間で、時間スケール境界が存在するかどうかを探索すること。

提案手法

• 異なる時間スケールでの観察された状態・行動軌道から報酬関数を推定するために、最大エントロピー逆強化学習（MaxEnt IRL）を適用する。
• 5分、15分、30分、60分の時間間隔に分割された、集計された市場データから導出された時間的状態軌道と行動シーケンスを用いる。
• 線形報酬関数 r = θ⊤fζ を採用し、fζ は軌道に沿った特徴のカウントを表し、θ は経験的特徴期待値と一致するように最適化する。
• MDP遷移モデル T を前向きおよび後ろ向きのパスを用いて走査することで、状態訪問頻度 Dsi を推定し、勾配を計算する。
• 特徴ベクトルの類似度に基づいて状態を正規化・クラスタリング（K-means法、k=6）し、同じ特徴パターンに対する異なるスケール間での相対的報酬を比較する。
• クラスタベースのプロットを用いて、ノードのサイズ（時間スケール）と色（報酬の大きさ）で、スケール間での正規化報酬を可視化・比較する。

実験結果

リサーチクエスチョン

• RQ1 有効な報酬関数の変動が示すように、金融市場におけるエージェントの目的が時間スケールによって異なるのか？
• RQ2 逆強化学習を用いて、集計された市場行動からスケール固有の報酬関数を信頼性高く推定できるか？
• RQ3 特定の時間スケールで、ある特徴ベクトルがより魅力的である場合、エージェントクラス間での戦略的行動の違いが示唆されるか？
• RQ4 市場因果関係に階層的構造が存在する証拠は何か？特に、異なる時間スケールで異なるモデルが支配的であるか？
• RQ5 取引量インバリアンスとスプレッド特徴量は、時間的視野によって状態の魅力にどのように異なる影響を及ぼすか？

主な発見

• 同じ値を持つ特徴ベクトルが、時間スケールによって相対的報酬が異なることから、同じ市場状態が観測者の時間的視野に応じてより魅力的だったり、魅力的でなかったりすることが示された。
• クラスタ3は、5分スケールではスプレッドが負で、取引量インバリアンスが大きく負であるが、これは好ましい状態であるが、60分スケールでは好ましくない状態である。これは、時間スケール依存の戦略的反応を示唆している。
• クラスタ5は、正の取引量インバリアンスと負のスプレッドを示し、5分スケールでは正の報酬（短期的な売りの好ましさ）を示すが、長期スケールでは負の報酬を示す。これは、価格圧力効果の可能性を示唆している。
• クラスタ6は、負の取引量インバリアンスと正のスプレッドを示し、すべてのスケールで一貫して正の報酬を示す。これは、低価格での買いの好ましい状況と上昇圧力があることを示唆している。
• 同じ特徴ベクトルの相対的報酬がスケール間で顕著に異なることから、高頻度取引と長期投資といったエージェントの目的が一様ではなく、スケール依存である可能性があることが示された。
• 本フレームワークは、市場ダイナミクスにマルチスケール構造が存在することを実証的根拠とともに支持しており、異なる時間分解能で動作する明確なエージェントクラスの存在を裏付けている。