[論文レビュー] Interactive POMDP Lite: Towards Practical Planning to Predict and Exploit Intentions for Interacting with Self-Interested Agents

Trong Nghia Hoang, Kian Hsiang Low|arXiv (Cornell University)|Apr 18, 2013

Reinforcement Learning in Robotics参考文献 11被引用数 28

ひとこと要約

本稿では、部分的に観測可能な確率的ゲームにおける自己中心的エージェントの意図を効率的に予測・活用する実用的な計画フレームワーク、Interactive POMDP Liteを提案する。信念表現を単純化しつつも、重要な意図認識推論を保持することで、最適方策に対する性能損失が線形に有界になることを実現し、確率的ゲーム評価において最先端の手法を上回る性能を発揮する。

ABSTRACT

A key challenge in non-cooperative multi-agent systems is that of developing efficient planning algorithms for intelligent agents to interact and perform effectively among boundedly rational, self-interested agents (e.g., humans). The practicality of existing works addressing this challenge is being undermined due to either the restrictive assumptions of the other agents' behavior, the failure in accounting for their rationality, or the prohibitively expensive cost of modeling and predicting their intentions. To boost the practicality of research in this field, we investigate how intention prediction can be efficiently exploited and made practical in planning, thereby leading to efficient intention-aware planning frameworks capable of predicting the intentions of other agents and acting optimally with respect to their predicted intentions. We show that the performance losses incurred by the resulting planning policies are linearly bounded by the error of intention prediction. Empirical evaluations through a series of stochastic games demonstrate that our policies can achieve better and more robust performance than the state-of-the-art algorithms.

研究の動機と目的

• I-POMDP などの既存の意図認識計画フレームワークが、次元の呪い、履歴、ネストされた推論の問題を抱える中で、高い計算コストに直面する課題に対処すること。
• 現実世界の非協力的状況において、他のエージェントの意図を効率的に予測・活用できる実用的な計画フレームワークを開発すること。
• 意図予測が不完全であっても、性能損失に線形な境界を保証することで、高いロバストネスを確保すること。
• インタラクティブ信念構造の単純化により、より大きな問題へのスケーラブルな展開を可能にすること、同時にコアな意図モデリングを損なわないこと。

提案手法

• I-POMDPにおけるインタラクティブ信念の複雑さを低減しつつ、本質的な意図予測能力を保持する簡素化された信念表現を提案する。
• 履歴と次元の呪いを緩和するため、縮小されたインタラクティブ信念空間上で動作する実用的な価値反復アルゴリズムを導入する。
• 性能損失が意図予測誤差に線形に比例する、誤差有界な近似フレームワークを採用する。
• 簡素化されたインタラクティブ信念空間に適応したポイントベース価値反復の原則を用いて、効率的な方策計算を実現する。
• 信念状態と価値関数を介した再帰的誤差伝播を用いて、方策性能損失の理論的境界を導出する。
• 収縮写像の議論を用いて収束性と誤差有界性を証明し、誤差項が予測誤差に線形にスケーリングされることを示す。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブPOMDPにおける簡素化された信念表現は、計算コストを低減しつつも、効果的な意図予測に十分な表現力を維持できるか？
• RQ2 計画方策における意図予測誤差と性能損失の理論的関係は何か？
• RQ3 得られたフレームワークは、より大きな実際的問題において、効率性とロバストネスの両面で、既存の近似I-POMDP手法を上回るか？
• RQ4 信念空間の構造的単純化によって、次元の呪い、履歴、ネストされた推論の問題をどの程度軽減できるか？

主な発見

• 提案方策の性能損失は、意図予測誤差に対して線形に有界であり、モデル化が不完全であってもロバストであることを保証する。
• 確率的ゲームにおける実験的評価では、さまざまな部分的に観測可能な環境において、Interactive POMDP Lite が最先端のアルゴリズムを常に上回り、より優れた一貫性のある性能を発揮する。
• インタラクティブ信念構造の単純化により、次元の呪いや履歴の問題が効果的に軽減され、より大きな問題へのスケーラビリティが実現された。
• 理論的分析により、価値関数近似誤差が予測誤差の定数倍に有界であり、その境界が予測誤差に線形にスケーリングされることを証明した。
• 完全なI-POMDPおよびその近似変種と比較して、著しく低い計算コストでほぼ最適な性能を達成した。