[論文レビュー] Learning to Cooperate via Policy Search

Leonid Peshkin, Kee-Eung Kim+2 more|arXiv (Cornell University)|Aug 7, 2014

Reinforcement Learning in Robotics参考文献 20被引用数 223

ひとこと要約

本稿では、部分的に観測可能な環境における協調的マルチエージェント強化学習のための勾配ベースの分散型方策探索手法を提案する。エージェントは価値ベースの手法に依存せずに協調行動を学習する。局所最適解がナッシュ均衡と密接に一致することを示し、部分的に観測可能なシミュレーテッドサッカー領域で手法を検証した結果、方策最適化によって効果的な協調が実現された。

ABSTRACT

Cooperative games are those in which both agents share the same payoff structure. Value-based reinforcement-learning algorithms, such as variants of Q-learning, have been applied to learning cooperative games, but they only apply when the game state is completely observable to both agents. Policy search methods are a reasonable alternative to value-based methods for partially observable environments. In this paper, we provide a gradient-based distributed policy-search method for cooperative games and compare the notion of local optimum to that of Nash equilibrium. We demonstrate the effectiveness of this method experimentally in a small, partially observable simulated soccer domain.

研究の動機と目的

• 完全な状態情報が入手できない部分的観測可能な協調的ゲームにおいて、Q学習などの価値ベースの手法に限界があることに対処すること。
• 完全な観測が不要な分散型方策探索アプローチを開発し、エージェントが協調行動を学習できるようにすること。
• 方策探索における局所最適解と協調的状況下でのナッシュ均衡との関係を調査すること。
• 部分的に観測可能な小さなシミュレーテッドサッカー環境において、手法を経験的に評価すること。

提案手法

• 各エージェントが局所的勾配更新を用いて自らの方策を独立して最適化する勾配ベースの方策探索アルゴリズムを採用する。
• 方策は関数近似器を用いてパラメータ化され、勾配はREINFORCEなどの方策勾配法により推定される。
• アルゴリズムは分散型であり、エージェントが並列に学習しながらも、共有された報酬構造を通じて協調を維持できる。
• エージェントの目的を一致させるために共有報酬関数を用いることで、協調行動を促進する。
• 価値関数近似を避けて直接方策を最適化するため、部分的観測設定に適している。
• 理論的分析により、方策空間における局所最適解がゲーム理論的意味でのナッシュ均衡に対応することを示した。

実験結果

リサーチクエスチョン

• RQ1 価値ベースの手法が失敗する部分的観測可能な協調的ゲームにおいて、方策探索手法は協調行動を効果的に学習できるか？
• RQ2 協調的マルチエージェントシステムにおける方策探索の局所最適解は、ナッシュ均衡とどのように関係しているか？
• RQ3 分散型方策探索アプローチは、完全な観測が得られない状況でも、安定的かつ効果的な協調を実現できるか？
• RQ4 部分的観測領域において、本手法は価値ベースの手法と比較して収束性および性能に優れているか？
• RQ5 限られた状態情報を持つシミュレーテッド協調環境において、本手法は高い協調水準を達成できるか？

主な発見

• 提案された方策探索手法は、部分的観測可能なシミュレーテッドサッカー領域において、エージェントが協調行動を学習できることを示した。
• 方策探索空間における局所最適解がナッシュ均衡と密接に一致することが確認され、理論的関係の妥当性が裏付けられた。
• 完全な状態情報が得られない状況ではQ学習が失敗するが、本手法は価値ベースの手法を上回る性能を示した。
• アルゴリズムの分散構造により、並列学習が効率的に行われるとともに、協調が維持された。
• 経験的結果から、安定した収束と高い協調率が得られた。
• 本手法は部分的観測に対して頑健であり、明示的な価値関数推定を必要とせずに、効果的な協調を実現した。