[논문 리뷰] A Framework for Sequential Planning in Multi-Agent Settings

Prashant Doshi, Piotr J. Gmytrasiewicz|arXiv (Cornell University)|2011. 09. 09.

Reinforcement Learning in Robotics참고 문헌 48인용 수 365

한 줄 요약

이 논문은 다중 에이전트 시스템에서 순차적 계획을 위한 결정 이론적 프레임워크인 상호작용 POMDPs(I-POMDPs)를 소개한다. 이 프레임워크는 에이전트들이 환경 상태뿐 아니라 다른 에이전트의 모델, 즉 그들의 믿음과 선호도에 대한 믿음을 유지하는 방식으로 작동한다. POMDPs를 포함된 중첩된 순환 믿음으로 확장함으로써, 이 프레임워크는 불확실성 하에서 최적의 의사결정을 가능하게 하면서도 수렴성, 조각별 선형성, 볼록성을 유지한다. 이는 나시 균형의 비유일성과 불완전성 문제를 피하는 더 표현력 있는 대안을 제공한다.

ABSTRACT

This paper extends the framework of partially observable Markov decision processes (POMDPs) to multi-agent settings by incorporating the notion of agent models into the state space. Agents maintain beliefs over physical states of the environment and over models of other agents, and they use Bayesian updates to maintain their beliefs over time. The solutions map belief states to actions. Models of other agents may include their belief states and are related to agent types considered in games of incomplete information. We express the agents autonomy by postulating that their models are not directly manipulable or observable by other agents. We show that important properties of POMDPs, such as convergence of value iteration, the rate of convergence, and piece-wise linearity and convexity of the value functions carry over to our framework. Our approach complements a more traditional approach to interactive settings which uses Nash equilibria as a solution paradigm. We seek to avoid some of the drawbacks of equilibria which may be non-unique and do not capture off-equilibrium behaviors. We do so at the cost of having to represent, process and continuously revise models of other agents. Since the agents beliefs may be arbitrarily nested, the optimal solutions to decision making problems are only asymptotically computable. However, approximate belief updates and approximately optimal plans are computable. We illustrate our framework using a simple application domain, and we show examples of belief updates and value functions.

연구 동기 및 목표

• 불확실성 하에서 다중 에이전트 환경에서의 순차적 의사결정을 위한 범용 프레임워크를 개발하는 것.
• POMDPs를 확장하여 에이전트들이 다른 에이전트의 모델, 그들의 믿음과 선호도에 대한 믿음을 포함시키는 것.
• 나시 균형의 한계, 즉 비유일성과 불완전성 문제를 믿음 기반 최적 반응 접근법을 통해 해결하는 것.
• 상호작용 믿음을 중첩된 계층적 구조로 형식화하고 베이지안 추론을 통해 갱신하는 것.
• POMDPs의 핵심 성질—예를 들어 가치 함수의 볼록성과 가치 반복의 수렴성—이 다중 에이전트 환경으로 일반화되는지 보여주는 것.

제안 방법

• 상태공간에 물리적 상태뿐 아니라 다른 에이전트의 모델까지 포함하는 POMDPs의 확장으로서 I-POMDPs를 제안한다.
• 에이전트들이 자신과 다른 이들의 유형, 선호도, 믿음에 대한 믿음을 모델링함으로써, 임의로 중첩된 상호작용 믿음을 허용한다.
• 관측치와 행동에 기반해 관측치와 행동에 따라 믿음을 순환적으로 갱신하는 베이지안 갱신을 사용하여, POMDP 믿음 갱신을 일반화한다.
• 해결책을 믿음 상태에서 행동으로의 사상으로 정의하고, 동적 프로그래밍과 가치 반복을 통해 가치 함수를 계산한다.
• 무한한 중첩을 다룰 수 있는 유한한 중첩 I-POMDPs를 도입하여 계산 가능한 근사치를 제공함으로써 실용적인 계산을 가능하게 한다.
• 알파 벡터와 내적을 사용하여 조각별 선형성과 볼록성을 가지는 가치 함수를 표현하고 계산한다.

실험 결과

연구 질문

• RQ1 에이전트들은 다른 에이전트의 모델, 그들의 믿음과 선호도에 대해 순환적이고 계층적인 방식으로 믿음을 유지하고 갱신할 수 있는가?
• RQ2 상호작용 믿음이 있는 다중 에이전트 환경에서 POMDPs의 수렴성, 조각별 선형성, 볼록성 등의 성질이 유지되는가?
• RQ3 무한한 중첩 믿음을 유지하는 데 따른 계산적 트레이드오프는 무엇이며, 효과적으로 근사화할 수 있는가?
• RQ4 I-POMDP 프레임워크는 전통적인 POMDPs와 나시 균형 솔루션에 비해 솔루션 품질과 표현력 면에서 어떻게 다른가?
• RQ5 I-POMDP 솔루션은 어떤 조건에서 수렴하며, 수렴 속도는 얼마나 되는가?

주요 결과

• I-POMDPs의 가치 반복 알고리즘은 수축 사상 정리에 의해 고유한 고정점으로 수렴함을 증명하였다.
• 유한 중첩 I-POMDPs의 가치 함수는 조각별 선형성과 볼록성을 가지며(PWLC), 이는 POMDPs의 핵심 성질을 일반화한 것이다.
• I-POMDPs의 믿음 갱신은 POMDP 갱신의 일반화로, 다른 에이전트의 모델에 대한 믿음을 포함한다.
• 에이전트들을 이성적이고 자기 이익을 추구하는 주체로 모델링함으로써, 이 프레임워크는 불확실성 하에서 최적의 의사결정을 가능하게 한다.
• 정확한 해가 무한한 중첩으로 인해 점점 더 계산 가능해지므로, 근사 믿음 갱신과 약간의 최적화된 계획은 계산 가능하다.
• 이 프레임워크는 표준 POMDPs보다 다중 에이전트 환경에서 더 뛰어난 성능을 보이며, 비균형 행동을 포착하고 타인의 행동을 더 잘 예측할 수 있도록 한다.