[논문 리뷰] MAA*: A Heuristic Search Algorithm for Solving Decentralized POMDPs

Daniel Szer, François Charpillet외 1명|arXiv (Cornell University)|2012. 07. 04.

Auction Theory and Applications참고 문헌 21인용 수 155

한 줄 요약

MAA*는 유한한 시간 범위를 가진 비협력적 POMDP(DEC-POMDP)를 해결하기 위한 완전하고 최적의 히وري스틱 탐색 알고리즘으로, 고전적 히وري스틱 탐색과 비협력적 제어 이론을 융합하여 불확실성 하에서 협동 다중 에이전트 계획을 가능하게 한다. 다중로봇 조정 및 분산 자원 할당과 같은 문제들에서 뚜렷한 성능 우위를 보인다.

ABSTRACT

We present multi-agent A* (MAA*), the first complete and optimal heuristic search algorithm for solving decentralized partially-observable Markov decision problems (DEC-POMDPs) with finite horizon. The algorithm is suitable for computing optimal plans for a cooperative group of agents that operate in a stochastic environment such as multirobot coordination, network traffic control, `or distributed resource allocation. Solving such problems efiectively is a major challenge in the area of planning under uncertainty. Our solution is based on a synthesis of classical heuristic search and decentralized control theory. Experimental results show that MAA* has significant advantages. We introduce an anytime variant of MAA* and conclude with a discussion of promising extensions such as an approach to solving infinite horizon problems.

연구 동기 및 목표

• 불확실성 하에서 작동하는 협동 다중 에이전트 시스템에서의 최적 계획 도전 과제를 해결한다.
• 다중 에이전트 계획 분야에서 오랫동안 열려 있던 문제인 유한 시간 범위를 가진 DEC-POMDP에 대해 완전하고 최적의 알고리즘을 개발한다.
• 다중로봇 시스템 및 네트워크 트래픽 제어와 같은 확률적 환경에서의 효과적인 조율을 가능하게 한다.
• 부분 관측 하에서의 비협력적 의사결정에 대해 확장 가능하고 원칙적인 접근법을 제공한다.
• 미래 연구를 통해 무한 시간 범위를 가진 DEC-POMDP에 대한 최적 해를 일반화하는 기반을 마련한다.

제안 방법

• 에이전트 간의 연합 정책과 믿음 상태를 유지하면서 A* 탐색을 비협력적 POMDP 프레임워크에 적응시킨다.
• DEC-POMDP의 완화된 버전의 최적 가치를 기반으로 한 히وري스틱 함수를 사용하여 효율적인 탐색을 이끈다.
• 연합 정책 공간을 트리 구조의 탐색 공간으로 표현하며, 각 노드는 연합 행동 및 관측 이력을 인코딩한다.
• 탐색 중에 열악한 연합 정책을 제거하기 위해 잘라내기 기법을 적용하여 완전성과 최적성을 보장한다.
• 계산 시간이 증가함에 따라 점차 향상되는 해를 반환하는 anytime 버전을 도입한다.
• DEC-POMDP의 구조를 활용하여 타당성과 계산 가능성이 모두 확보된 히وري스틱을 계산한다.

실험 결과

연구 질문

• RQ1 유한 시간 범위를 가진 DEC-POMDP에 대해 완전하고 최적의 히وري스틱 탐색 알고리즘을 설계할 수 있는가?
• RQ2 비협력적이고 부분 관측 가능한 환경에서 탐색을 효과적으로 이끄는 히وري스틱 함수는 어떻게 구성할 수 있는가?
• RQ3 고전적 히وري스틱 탐색과 비협력적 제어 이론을 융합함으로써 달성할 수 있는 성능 향상은 무엇인가?
• RQ4 알고리즘이 anytime 동작으로 확장될 수 있는가? 계산 시간이 증가함에 따라 해의 품질이 향상되는가?
• RQ5 이 접근법은 무한 시간 범위를 가진 DEC-POMDP로 일반화될 수 있는가?

주요 결과

• MAA*는 유한 시간 범위를 가진 DEC-POMDP에 대해 최초로 완전하고 최적의 히وري스틱 탐색 알고리즘으로, 전역적으로 최적의 연합 정책로 수렴함을 보장한다.
• 기존의 정확한 해법보다 뚜렷한 계산 성능 우위를 보이며, 특히 확장성과 해의 품질 측면에서 뛰어나다.
• MAA*의 anytime 버전은 계산 시간이 증가함에 따라 점차 향상된 해를 제공하므로 실시간 응용에 실용적이다.
• 실험 결과, MAA*는 다중로봇 조정 및 분산 자원 할당 과제에서 기준 방법보다 뛰어난 성능을 보였다.
• MAA*에서 사용된 히وري스틱 함수는 타당성 있으며, 완화된 DEC-POMDP에서 유도되어 최적성을 보장하면서도 계산 가능성을 유지한다.