[論文レビュー] Payoff-based Inhomogeneous Partially Irrational Play for Potential Game Theoretic Cooperative Control of Multi-agent Systems

Tatsuhiko Goto, Takeshi Hatanaka+1 more|arXiv (Cornell University)|Jul 25, 2011

Distributed Control Multi-Agent Systems参考文献 22被引用数 8

ひとこと要約

本論文は、ポテンシャルゲームにおける最適ナッシュ均衡への確率的収束を可能にする、マルチエージェントシステム向けの新規学習アルゴリズムである報酬に基づく非一様部分的非合理行動（PIPIP）を提案する。非合理行動選択の制御された確率を導入することで、エージェントは劣悪な均衡から脱出でき、従来の報酬ベースの手法（例：DISL）と比較して、センサーカバレッジタスクにおける性能と動的環境への適応性に優れる。

ABSTRACT

This paper handles a kind of strategic game called potential games and develops a novel learning algorithm Payoff-based Inhomogeneous Partially Irrational Play (PIPIP). The present algorithm is based on Distributed Inhomogeneous Synchronous Learning (DISL) presented in an existing work but, unlike DISL,PIPIP allows agents to make irrational decisions with a specified probability, i.e. agents can choose an action with a low utility from the past actions stored in the memory. Due to the irrational decisions, we can prove convergence in probability of collective actions to potential function maximizers. Finally, we demonstrate the effectiveness of the present algorithm through experiments on a sensor coverage problem. It is revealed through the demonstration that the present learning algorithm successfully leads agents to around potential function maximizers even in the presence of undesirable Nash equilibria. We also see through the experiment with a moving density function that PIPIP has adaptability to environmental changes.

研究の動機と目的

• 既存の報酬ベースの学習アルゴリズムが純粋ナッシュ均衡への収束に限られ、必ずしも最適な均衡に収束しないという制限を解消すること。
• 有限記憶と報酬ベースの動作を維持しつつ、望ましくないナッシュ均衡から脱出できる学習アルゴリズムの開発。
• 他のエージェントの行動に関する完全な情報が不要な状況でも、ポテンシャル関数の最大化者（すなわち最適ナッシュ均衡）への確率的収束を保証すること。
• 環境の変化（例：センサーカバレッジ問題における移動する密度関数）へのアルゴリズムの適応性を実証すること。
• 不完全な事前知識と動的状況下でも実用的かつスケーラブルな協調制御ソリューションの提供。

提案手法

• PIPIPは、非合理行動選択の確率的ルールを導入することで、DISLアルゴリズムを拡張する。エージェントは、固定確率εで過去2回の行動のうち、より低い報酬を持つ行動を確率的に選択する。
• 行動選択ルールは、過去の報酬の重み付き組み合わせに基づく。ある過去の行動を選択する確率は、その行動の報酬が他方の行動の報酬に対して相対的に高いかどうかに依存する。
• アルゴリズムは離散的かつ同期的な時間ステップで動作し、各エージェントは自らの観測した報酬と過去2回分の行動の有限記憶に基づいて行動を更新する。
• アルゴリズムの非一様性により、各エージェントが個々の報酬履歴に応じて異なる行動選択行動を示すことが可能である。
• 非合理選択による探索を活用し、確率的安定性解析を用いて、ポテンシャル関数の最大化者への確率的収束を理論的に証明する。
• 本手法は、空間的ポテンシャル関数（タスクの重要性を表す）を最大化するようにエージェントが自己組織化するセンサーカバレッジ問題に適用されている。

実験結果

リサーチクエスチョン

• RQ1 有限記憶を持つ報酬ベースの学習アルゴリズムが、劣悪なナッシュ均衡から脱出し、ポテンシャルゲームにおいて最適均衡に収束できるか。
• RQ2 非合理行動選択に制御された確率を導入することで、マルチエージェント協調制御における最適解への収束にどのような影響を与えるか。
• RQ3 このような学習アルゴリズムが、センサーカバレッジタスクにおける移動する密度関数などの環境変化に、どの程度適応できるか。
• RQ4 提案手法は、DISLなどの既存の報酬ベース手法と比較して、最適構成への収束性および障害物へのロバストネスにおいて優れているか。
• RQ5 探索率εが学習プロセスの性能および安定性に与える影響は何か。

主な発見

• PIPIPは、障害物によって劣悪なナッシュ均衡が生じる状況下でも、センサーカバレッジ問題においてポテンシャル関数の最大化者に近い配置にエージェントを導くことに成功した。
• ε = 0.15の実験では、PIPIPがDISLよりも高い平均ポテンシャル関数値を達成し、劣悪な均衡からの脱出能力が優れていることを示した。
• ε = 0.3の場合は、探索の増加にもかかわらずPIPIPが高い性能を維持し、動的環境におけるレジリエンスと適応性を示した。
• アルゴリズムは、ミッション空間や密度関数の事前知識がなくても、障害物を避けて重要度の高い領域に収束するのを可能にした。
• 移動する密度関数の実験では、PIPIPが時間経過に伴ってもほぼ最適なポテンシャル関数レベルを維持した。これにより、環境変化への適応性が確認された。
• 結果から、適切に制御された非合理意思決定が、決定論的または完全に合理的な学習ルールと比較して、最適均衡への収束を著しく改善することが確認された。