[논문 리뷰] Anytime Planning for Decentralized POMDPs using Expectation Maximization

Akshat Kumar, Shlomo Zilberstein|arXiv (Cornell University)|2012. 03. 15.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 31

한 줄 요약

이 논문은 정책 최적화를 동적 베이지안 네트워크(Dynamic Bayesian Networks, DBNs)의 혼합 모델에서 추론으로 재구성함으로써 무한 시간 범위의 분산 POMDPs를 위한 anytime 계획 알고리즘을 제안한다. 기대 최대화(Expectation Maximization, EM) 알고리즘을 활용해 공동 정책을 반복적으로 개선함으로써, 확장 가능하고 요소화되며 연속 상태 계획이 가능하며, 기준 도메인에서 최신 기술보다 뛰어난 경험적 성능을 보인다.

ABSTRACT

Decentralized POMDPs provide an expressive framework for multi-agent sequential decision making. While fnite-horizon DECPOMDPs have enjoyed signifcant success, progress remains slow for the infnite-horizon case mainly due to the inherent complexity of optimizing stochastic controllers representing agent policies. We present a promising new class of algorithms for the infnite-horizon case, which recasts the optimization problem as inference in a mixture of DBNs. An attractive feature of this approach is the straightforward adoption of existing inference techniques in DBNs for solving DEC-POMDPs and supporting richer representations such as factored or continuous states and actions. We also derive the Expectation Maximization (EM) algorithm to optimize the joint policy represented as DBNs. Experiments on benchmark domains show that EM compares favorably against the state-of-the-art solvers.

연구 동기 및 목표

• 무한 시간 범위의 분산 POMDPs에서의 본질적 복잡성에 대응하기 위해, 확률적 제어기를 최적화하는 것이 계산적으로 비가능한 문제를 해결한다.
• 부분 관찰과 분산 제어를 가진 다중 에이전트 시스템에서 확장 가능하고 효율적인 계획을 가능하게 한다.
• 계획 프레임워크 내에서 요소화된 연속 상태 및 동작과 같은 더 rich한 표현 방식을 지원한다.
• 계산 시간이 증가함에 따라 정책 품질을 점진적으로 향상시키는 anytime 알고리즘을 개발한다.
• 기존의 DBN 추론 기법을 활용하는 통합된 프레임워크를 제공한다.

제안 방법

• 공동 정책는 동적 베이지안 네트워크(DBNs)의 혼합으로 표현되어, DEC-POMDP 최적화 문제를 확률적 추론 문제로 변환한다.
• 기대 최대화(Expectation Maximization, EM) 알고리즘이 유도되어 DBN 기반 정책 표현의 매개변수를 반복적으로 최적화한다.
• E단계는 현재 정책 매개변수를 사용하여 완전 데이터 로그우도의 기대값을 계산한다.
• M단계는 기대 완전 데이터 로그우도를 최대화하도록 정책 매개변수를 업데이트하여 공동 정책를 향상시킨다.
• 구조화된 DBN 모델링을 통해 요소화된 연속 상태/동작 표현을 지원한다.
• 알고리즘은 anytime 성격을 지녀, 계산 시간 증가에 따라 정책 품질이 점진적으로 향상된다.

실험 결과

연구 질문

• RQ1 무한 시간 범위의 DEC-POMDP 계획 문제는 DBNs 내의 확률적 추론 문제로 재구성될 수 있는가?
• RQ2 EM 알고리즘은 DBNs로 표현된 분산 정책을 효과적으로 최적화하는 데 적합하게 변형될 수 있는가?
• RQ3 제안된 EM 기반 접근법은 표준 기준 도메인에서 최신 기술보다 뛰어난 성능을 보일 수 있는가?
• RQ4 이 방법은 요소화되거나 연속 상태 및 동작 공간을 가진 문제에 얼마나 잘 스케일링되는가?
• RQ5 알고리즘의 anytime 성격은 시간이 지남에 따라 정책 품질에 어떤 영향을 미치는가?

주요 결과

• EM 기반 알고리즘은 표준 기준 DEC-POMDP 도메인에서 최신 기술보다 경쟁력 있거나 뛰어난 성능을 달성한다.
• 이 방법은 요소화된 연속 상태 및 동작 공간을 가진 문제를 다루는 데 있어 확장성과 효능을 입증한다.
• 알고리즘의 anytime 성격 덕분에 계산 시간 증가에 따라 정책 품질이 점진적으로 향상된다.
• DBN 추론으로의 재구성은 고급 추론 기법의 사용을 가능하게 하여 해결 품질과 효율성을 향상시킨다.
• 경험적 결과는 EM 기반 접근법이 이전 방법보다 더 빠르게 고품질 정책로 수렴하고 더 뛰어난 성능을 보임을 보여준다.
• 이 방법은 더 rich한 표현으로 일반화에 성공하여, 이산적이고 소규모 문제에 국한되지 않는 DEC-POMDP 솔버의 적용 가능성을 넓힌다.