[論文レビュー] A General Framework for Interacting Bayes-Optimally with Self-Interested Agents using Arbitrary Parametric Model and Model Prior

Trong Nghia Hoang, Kian Hsiang Low|arXiv (Cornell University)|Apr 7, 2013

Reinforcement Learning in Robotics参考文献 7被引用数 8

ひとこと要約

本稿では、自己利益志向のエージェントを任意のパrametricモデルと事前分布を用いてモデル化できる一般化されたフレームワーク、インタラクティブベイジアン強化学習（I-BRL）を提案する。これにより、ドメイン知識の統合が可能となり、状態間での一般化が向上する。実験結果から、I-BRLはFDMベースの手法や標準的なマルチエージェント強化学習（MARL）手法よりも性能と適応性に優れていることが示された。

ABSTRACT

Recent advances in Bayesian reinforcement learning (BRL) have shown that Bayes-optimality is theoretically achievable by modeling the environment's latent dynamics using Flat-Dirichlet-Multinomial (FDM) prior. In self-interested multi-agent environments, the transition dynamics are mainly controlled by the other agent's stochastic behavior for which FDM's independence and modeling assumptions do not hold. As a result, FDM does not allow the other agent's behavior to be generalized across different states nor specified using prior domain knowledge. To overcome these practical limitations of FDM, we propose a generalization of BRL to integrate the general class of parametric models and model priors, thus allowing practitioners' domain knowledge to be exploited to produce a fine-grained and compact representation of the other agent's behavior. Empirical evaluation shows that our approach outperforms existing multi-agent reinforcement learning algorithms.

研究の動機と目的

• 自己利益志向のエージェントをモデル化する際のフラットディリクレ多項分布（FDM）事前分布の限界を解消すること。FDMは状態間の遷移ダイナミクスが独立していると仮定しており、一般化やドメイン知識の統合に失敗する。
• FDMに制限されない任意のパラメトリックモデルと事前分布を用いて、実務者が相手エージェントの行動に関する構造的でドメイン特有の知識を組み込めるようにすること。
• 限られた相互作用時間の中で、非短期的で性能指向の意思決定を可能にするベイズ最適な相互作用フレームワークの開発。
• FDM仮定が崩壊する自己利益志向のマルチエージェント環境において、理論的ベイズ最適性と実用的応用のギャップを埋めること。

提案手法

• I-BRLは、任意のパラメトリックモデルと事前分布を用いて相手エージェントの行動を表現できるようにすることで、制限的なFDM仮定を超えたベイジアン強化学習を一般化する。
• フレームワークは、相手モデルの事後分布を維持する信念更新メカニズムを採用しており、不確実性下でのベイズ最適な行動選択を可能にする。
• パラメータの束縛と状態間での共有潜在パラメータをサポートすることで、すべての状態で同一の行動を仮定しないまま、相手行動の一般化を実現する。
• ガウス過程や階層的事前分布などの柔軟なモデル事前分布を用いることで、ドメイン知識を統合し、相手行動の空間的・行動的相関を捉える。
• モンテカルロサンプリングや変分推論を用いて、すべての可能な相手モデルにおける期待効用を計算することで、近似的なベイズ最適ポリシーの導出を可能にする。
• 将来の信念更新と信念の系列における期待効用を考慮することで、即時の報酬だけでなく、非短期的計画を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己利益志向のマルチエージェントシステムにおける相手モデル化に、任意のパラメトリックモデルと事前分布をサポートする一般化されたベイジアン強化学習フレームワークを設計できるか？
• RQ2 相手行動に関するドメイン特有の知識を組み込むことで、FDMベースのモデルと比較して性能と一般化性能がどのように向上するか？
• RQ3 限られた相互作用時間内での平均的性能を評価した場合、I-BRLはFDMベースおよび標準的なMARLアルゴリズムをどの程度上回るか？
• RQ4 最悪ケース性能保証に依存せずに、非短期的でベイズ最適な意思決定をサポートできるか？

主な発見

• I-BRLは、複数のシミュレート環境において、FDMベースのベイジアンMARL手法BPVIよりも累積報酬と収束速度の両面で顕著に優れている。
• 共有潜在パラメータを活用することで、状態間での相手行動の効果的な一般化が可能となり、FDMの独立性仮定を克服した。
• 実験結果から、歩行者の運動における空間的相関や一貫した運転パラメータといったドメイン知識を組み込むことで、制約なしまたは独立したモデル化と比較して優れた性能が得られることを示した。
• 収束に重点を置くMARLアルゴリズムよりも、特に収束が達成できない限られた相互作用時間の設定において、I-BRLがより高い平均的性能を達成した。
• 効率的な事後分布近似およびサンプリング技術を用いることで、複雑なモデルでも計算上の実行可能性を維持した。
• FDM仮定を緩和することが、現実のマルチエージェントシナリオにおけるベイズ最適ポリシーの実用的導入にとって不可欠であることが結果から確認された。