[論文レビュー] On Convergence and Optimality of Best-Response Learning with Policy Types in Multiagent Systems

Stefano V. Albrecht, Subramanian Ramamoorthy|arXiv (Cornell University)|Jul 15, 2019

Reinforcement Learning in Robotics参考文献 18被引用数 17

ひとこと要約

本稿は、ユーザー定義のポリシー型を用いたマルチエージェントシステムにおけるベストリスポンス学習の理論的基盤を提供する。新しい事後分布を提案し、相関のあるタイプ分布に収束させるとともに、確率的バイシミュレーションに基づく最適性基準を導入することで、タイプ空間の検証に効率的なモデルチェックが可能となり、HBAの収束性およびタスク解決性能が向上する。

ABSTRACT

While many multiagent algorithms are designed for homogeneous systems (i.e. all agents are identical), there are important applications which require an agent to coordinate its actions without knowing a priori how the other agents behave. One method to make this problem feasible is to assume that the other agents draw their latent policy (or type) from a specific set, and that a domain expert could provide a specification of this set, albeit only a partially correct one. Algorithms have been proposed by several researchers to compute posterior beliefs over such policy libraries, which can then be used to determine optimal actions. In this paper, we provide theoretical guidance on two central design parameters of this method: Firstly, it is important that the user choose a posterior which can learn the true distribution of latent types, as otherwise suboptimal actions may be chosen. We analyse convergence properties of two existing posterior formulations and propose a new posterior which can learn correlated distributions. Secondly, since the types are provided by an expert, they may be inaccurate in the sense that they do not predict the agents' observed actions. We provide a novel characterisation of optimality which allows experts to use efficient model checking algorithms to verify optimality of types.

研究の動機と目的

• マルチエージェントシステムにおけるポリシー型を用いたベストリスポンス学習のための事後分布の選定に、理論的指針が欠如している問題に対処すること。
• HBAが隠れエージェントタイプの真の分布に収束する条件を分析すること。
• タスクの達成を保証する、形式的かつ検証可能なポリシー型空間の最適性基準を構築すること。
• モデルチェックアルゴリズムを用いてタイプ空間の品質を効率的に検証できるようにすること。
• 未知または多様なエージェント行動を伴う実世界の応用において、HBAのロバスト性と信頼性を向上させること。

提案手法

• 相関のあるタイプ分布を学習可能な新しい事後分布を提案し、従来手法に比べて収束性が向上する。
• ポリシー型の最適性を特徴付ける形式的基準として、確率的バイシミュレーションを採用する。
• 効率的なモデルチェックアルゴリズムを用いてタイプ空間の最適性を検証する手法を導入する。
• 2つの既存の事後分布の形式の漸近的条件下での収束性を分析する。
• 観測された行動から、有限個のユーザー定義ポリシー型に基づくベイズ更新により、事後信念を計算する。
• ベルマン最適性とベイズナッシュ均衡の概念を組み合わせ、行動選択の期待報酬を計算する。

実験結果

リサーチクエスチョン

• RQ1 ポリシー型を用いたベストリスポンス学習は、どのような条件下で隠れエージェントタイプの真の分布に収束するか？
• RQ2 タイプが相関している場合でも収束を保証するように、事後分布の形式をどのように設計できるか？
• RQ3 HBAにおけるタスク達成を保証する最適なポリシー型空間の基準は何であるか？
• RQ4 形式的手法を用いて、与えられたタイプ空間の最適性を効率的に検証できるか？
• RQ5 ユーザーが提供するタイプに不正確さがある場合、HBAの性能および収束性にどのような影響を与えるか？

主な発見

• 提案された事後分布形式は、従来手法が独立性を仮定するのに対し、相関のあるタイプ分布を学習可能である。
• 既存の事後分布の収束は特定の条件下で確立されるが、相関のあるタイプに対しては唯一、新しい事後分布が収束を保証する。
• 確率的バイシミュレーションは、タイプ空間の最適性を形式的かつ検証可能な基準として提供し、効率的なモデルチェックを可能にする。
• 理論的分析により、真のタイプ空間がユーザー定義されたタイプ空間の確率的バイシミュレーションである場合、HBAは等確率でタスク終了に到達することが示された。
• 本手法により、ユーザーは既存の効率的な確率的バイシミュレーション検証アルゴリズムを用いて、タイプ空間の品質を検証できる。
• 結果として、事後分布の選定とタイプ空間の検証のための形式的基盤が提供され、未知のマルチエージェント環境におけるHBAの信頼性が向上する。