[論文レビュー] Coordinated Exploration in Concurrent Reinforcement Learning

Maria Dimakopoulou, Benjamin Van Roy|arXiv (Cornell University)|Feb 5, 2018

Advanced Bandit Algorithms Research参考文献 12被引用数 3

ひとこと要約

本稿では、強化学習におけるマルチエージェント同時学習における効率的な協調的探索を可能にする、後方分布サンプリングの新規拡張であるシードサンプリングを提案する。共有シードを用いてMDPを生成することで、エージェントは探索経路へのコミットメントを保ちつつ、共有データに適応し、行動の多様性を確保する。これにより、トムソン再サンプリングやUCRLベースの手法と比較して、エージェントごとのレグレットを顕著に低減する。

ABSTRACT

We consider a team of reinforcement learning agents that concurrently learn to operate in a common environment. We identify three properties - adaptivity, commitment, and diversity - which are necessary for efficient coordinated exploration and demonstrate that straightforward extensions to single-agent optimistic and posterior sampling approaches fail to satisfy them. As an alternative, we propose seed sampling, which extends posterior sampling in a manner that meets these requirements. Simulation results investigate how per-agent regret decreases as the number of agents grows, establishing substantial advantages of seed sampling over alternative exploration schemes.

研究の動機と目的

• マルチエージェント強化学習における後方分布サンプリングや上限信用区間法の単純な拡張の限界を解決すること。
• 効率的探索のための3つの主要な性質を同定および満たすこと：共有観測値への適応性、探索シーケンスへのコミットメント、エージェント間の行動の多様性。
• レグレット最小化の観点で、既存の同時RLアルゴリズムを上回るスケーラブルで頑健な探索メカニズムを設計すること。
• シードサンプリングがマルチエージェント環境において、収束速度の向上と優れたサンプル効率を実現できることを示すこと。

提案手法

• エージェントは学習の開始時に共有ランダムシードをサンプリングし、これを使って現在の後方分布から確率的MDPモデルを生成する。
• 各エージェントのMDPは、シードと決定的マッピングを用いて構築され、時間経過にわたって一貫した探索経路を保ちつつ、独立したシードサンプリングによって多様性を維持する。
• 本手法は、エピソード全体にわたりMDPモデルを固定することでコミットメントを維持し、各時刻での破壊的な再サンプリングを回避する。
• 適応性は、全エージェントが収集したデータを用いてMDPパラメータの後方分布を更新することで達成され、これにより将来のシードベースMDPサンプリングが情報提供される。
• 標準ガウス分布型およびマルティングル型ガウス分布型の2つの具体的なシードサンプリングバリエーションを提案し、異なる事前分布および尤度仮定に適応する。
• 探索の多様性を時系列的ランダムネスとは分離することで、PSRLを同時設定に一般化し、安定的かつ協調的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エージェントが同時に学習し、データを共有する状況において、マルチエージェント強化学習がどのように効率的な探索を達成できるか？
• RQ2 なぜ後方分布サンプリングやUCBの標準的拡張が、同時設定において探索を効果的に協調できないのか？
• RQ3 マルチエージェントRLにおけるレグレットを低減するために、協調的探索に不可欠な性質は何か？
• RQ4 トムソン再サンプリングや同時UCRLと比較して、シーディング機構がレグレットの減衰率を改善できるか？
• RQ5 シードサンプリングは、同時学習において、どのように適応性、コミットメント、多様性を同時に維持できるか？

主な発見

• 最大報酬経路問題において、10,000体のエージェントとH=10のホライズンで、シードサンプリングが評価されたすべてのアルゴリズムの中で最小の累積レグレットを達成した。
• 同時UCRLは、コミットメントは満たしているものの、行動の多様性に欠けるため、シードサンプリングに比べて累積レグレットが49.9%高い。
• トムソン再サンプリングは、コミットメントの欠如と破壊的な再サンプリングのため、シードサンプリングに比べて累積レグレットが191%高い。
• シードサンプリングのレグレット減衰率は、問題インスタンスにかかわらず安定しており、他の手法は特定の環境で著しく遅い減衰を示した。
• 標準ガウス分布型およびマルティングル型ガウス分布型の両方のシードサンプリングバリエーションが、他の手法を上回り、シーディング機構の有効性を確認した。
• シミュレーション結果は、シードサンプリングがエージェントが多様な経路を探索しつつ一貫性を保ち、最適方策への収束を加速できることを示した。