[論文レビュー] AWESOME: A General Multiagent Learning Algorithm that Converges in Self-Play and Learns a Best Response Against Stationary Opponents

Vincent Conitzer, Tüomas Sandholm|arXiv (Cornell University)|Jul 1, 2003

Reinforcement Learning in Robotics参考文献 14被引用数 36

ひとこと要約

AWESOMEは、有限繰り返しゲームの全範囲で自己対戦においてナッシュ均衡への収束を保証する一般化されたマルチエージェント学習アルゴリズムであり、定常的相手に対する最適戦略をとることも保証する。AWESOMEは、認識された定常的相手戦略に適応するが、非定常性が検出されると、無限小の更新や戦略観測を必要とせず、観測された行動のみを用いて事前に計算された均衡に戻る。

ABSTRACT

A satisfactory multiagent learning algorithm should, {\em at a minimum}, learn to play optimally against stationary opponents and converge to a Nash equilibrium in self-play. The algorithm that has come closest, WoLF-IGA, has been proven to have these two properties in 2-player 2-action repeated games--assuming that the opponent's (mixed) strategy is observable. In this paper we present AWESOME, the first algorithm that is guaranteed to have these two properties in {\em all} repeated (finite) games. It requires only that the other players' actual actions (not their strategies) can be observed at each step. It also learns to play optimally against opponents that {\em eventually become} stationary. The basic idea behind AWESOME ({\em Adapt When Everybody is Stationary, Otherwise Move to Equilibrium}) is to try to adapt to the others' strategies when they appear stationary, but otherwise to retreat to a precomputed equilibrium strategy. The techniques used to prove the properties of AWESOME are fundamentally different from those used for previous algorithms, and may help in analyzing other multiagent learning algorithms also.

研究の動機と目的

• 定常的相手に対して最適戦略をとることを保証するマルチエージェント学習アルゴリズムの開発。
• すべての有限繰り返しゲームにおいて自己対戦でナッシュ均衡への収束を保証すること。
• 従来のアルゴリズムの制限的仮定（例えば、相手戦略の観測可能、無限小の更新）を排除すること。
• 任意の有限のエージェント数および行動数に対応する汎用アルゴリズムの設計。
• 非定常環境におけるロバストなマルチエージェント学習の理論的基盤の提供。

提案手法

• AWESOMEは2つの帰無仮説を維持する：他のエージェントが事前に計算された均衡をとっている、またはそれらの戦略が定常的である。
• 成長するエポックにおける行動シーケンスに対して統計的仮説検定を用いて非定常性を検出する。
• いずれの仮説が棄却された場合、AWESOMEは戦略をリセットし、事前に計算された均衡から再び学習を再開する。
• アルゴリズムはエポック長を動的に延長し、棄却基準を厳しくすることで収束を保証する。
• 自らの行動が他のエージェントに非定常性を示す可能性があると認識することで自己認識を統合する。
• この方法は、推定された相手戦略や勾配ベースの更新ではなく、観測された行動のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント学習アルゴリズムは、すべての有限繰り返しゲームにおいて自己対戦でナッシュ均衡への収束を保証できるか？
• RQ2 そのようなアルゴリズムは、最終的に定常的になる相手に対しても最適にプレーできるか？
• RQ3 相手戦略の観測や無限小の更新ステップを必要とせずに、両方の性質を達成することは可能か？
• RQ4 観測された行動のみを用いて、相手行動の非定常性を検出することは可能か？
• RQ5 相手が適応的である場合でも、アルゴリズムがナッシュ均衡に収束するための条件は何か？

主な発見

• AWESOMEは、エージェント数や行動数にかかわらず、すべての有限繰り返しゲームにおいて自己対戦でナッシュ均衡への収束が保証される最初のアルゴリズムである。
• 観測された実際の行動のみを用いても、定常的または最終的に定常的になる相手に対して最適なプレーを保証する。
• アルゴリズムは相手戦略の知識を必要とせず、無限小の勾配更新も使用しない。
• 収束は、エポック長を増加させた観測行動シーケンスに対する適応的仮説検定によって達成される。
• 仮説検定が偶然の要因により定常性を誤って棄却した場合、AWESOMEは事前に計算された均衡とは異なるナッシュ均衡に収束する可能性がある。
• AWESOMEの収束を裏付ける理論的枠組みは、従来のアプローチとは根本的に異なり、マルチエージェント学習アルゴリズムの分析に新たなツールを提供する。