[論文レビュー] Using Reinforcement Learning to Validate Empirical Game-Theoretic Analysis: A Continuous Double Auction Study

Mason Wright|arXiv (Cornell University)|Apr 22, 2016

Reinforcement Learning in Robotics参考文献 22被引用数 3

ひとこと要約

本稿では、連続二重入札市場における戦略的安定性を、経験的ゲーム理論的分析（EGTA）によって特定された均衡戦略プロファイルの妥当性を検証するために強化学習（RL）を用いることを提案する。EGTAから導かれた均衡に、Q学習、Sarsa、POMCPといった多様なRLアルゴリズムを適用して訓練した結果、報酬の顕著な向上は得られず、EGTAプロファイルのレグレットが最小限であるという強力な実証的証拠が得られた。これは、より広範な戦略空間に対しても同様に成り立つ。

ABSTRACT

Empirical game-theoretic analysis (EGTA) has recently been applied successfully to analyze the behavior of large numbers of competing traders in a continuous double auction market. Multiagent simulation methods like EGTA are useful for studying complex strategic environments like a stock market, where it is not feasible to solve analytically for the rational behavior of each agent. A weakness of simulation-based methods in strategic settings, however, is that it is typically impossible to prove that the strategy profile assigned to the simulated agents is stable, as in a Nash equilibrium. I propose using reinforcement learning to analyze the regret of supposed Nash-equilibrium strategy profiles found by EGTA. I have developed a new library of reinforcement learning tools, which I have integrated into an extended version of the market simulator from our prior work. I provide evidence for the effectiveness of our library methods, both on a suite of benchmark problems from the literature, and on non-equilibrium strategy profiles in our market environment. Finally, I use our new reinforcement learning tools to provide evidence that the equilibria found by EGTA in our recent continuous double auction study are likely to have only negligible regret, even with respect to an extended strategy space.

研究の動機と目的

• EGTAの戦略空間のサンプリング制限により、戦略プロファイルが真の安定ナッシュ均衡であるかどうかを検証できないという限界に対処すること。
• EGTAから導かれた戦略プロファイルからの利益的逸脱を検出できる、強化学習（RL）アルゴリズムの開発と検証を行うこと。
• EGTAが特定した連続二重入札環境における均衡が、より広い方策空間に対してさえも頑健であるという実証的証拠を提供すること。
• RL手法が非均衡行動を検出する効果性と、複数のアルゴリズム的手法を用いて均衡プロファイルの安定性を確認する能力を評価すること。

提案手法

• Q学習、Sarsa(λ)、POMCPを含むRLツールのライブラリを実装し、タイルコーディング、経験再生、有効性トレースといった強化技術を導入して学習の安定性と速度を向上させた。
• EGTA戦略プロファイルを現実的な連続二重入札環境でテストできるように、前回の市場シミュレータを拡張した環境にRLライブラリを統合した。
• 非均衡戦略プロファイル（RLの有効性を検証するため）とEGTA均衡プロファイル（安定性をテストするため）との間で、RLエージェントのパフォーマンスを比較する実験を実施した。
• 戦略的柔軟性を模倣するために、RLエージェントに購入または売却の行動選択を許可し、固定されたEGTAポリシーを上回れるかどうかをテストした。
• 表形式とモンテカルロ木探索の異なるメカニズムを持つ複数のRLアルゴリズムを用いることで、結果の信頼性を高め、特定の手法によるバイアスを低減した。
• ベンチマーク問題（例：RockSample、Suttonのグリッドワールド）でRL実装を評価し、市場シミュレーションに適用する前に正しさを確認した。

実験結果

リサーチクエスチョン

• RQ1 連続二重入札環境において、強化学習は非均衡戦略プロファイルからの利益的逸脱を検出できるか？
• RQ2 EGTAが特定した均衡プロファイルに対してRLがより良い戦略を見つけることができない場合、これは低レグレットを示唆するか？
• RQ3 Q学習とPOMCPといった異なるRLアルゴリズムは、均衡安定性のテストにおいて、パフォーマンスと計算効率の面でどのように比較されるか？
• RQ4 RLエージェントに購入または売却の行動選択を許可することで、固定されたEGTAポリシーを上回る報酬が得られるか？これは不安定性の兆候であるか？
• RQ5 実証的RL結果が、戦略空間の全範囲がカバーされていない状況でも、EGTAプロファイルの戦略的安定性を支持するのにどの程度有効か？

主な発見

• Q学習、Sarsa(λ)、POMCPのすべてのRL手法が、テストされたすべての環境でEGTA均衡プロファイルの報酬水準に達するか、それに近いパフォーマンスのプラトーに達しており、顕著な向上が見られなかった。
• FlipKnown設定では、POMCPはいかなる環境でもEGTA均衡を上回らなかった。95％信頼区間は均衡報酬と重複しており、特にB-1k-eqではPOMCPが顕著に劣っていた。
• 購入または売却の行動選択を許可されたRLエージェントは、固定されたEGTAポリシーと比較して一貫して高い平均報酬を達成しており、EGTAプロファイルが容易に搾取されないことを示唆している。
• RL手法は非均衡プロファイルを著しく改善できたため、戦略的弱みを検出・活用する能力があることが確認された。
• POMCPは、高い計算コストのため、古典的RL手法と比較して著しく非効率であり、特に高頻度のプレイアウトにおいて、広い信頼区間と限られたサンプルサイズが生じた。
• ベンチマーク問題で検証され、非均衡行動を検出できる複数のRLアルゴリズムの組み合わせは、EGTAプロファイルの戦略的安定性を強く支持する実証的根拠を提供している。