[논문 리뷰] Scalable Planning and Learning for Multiagent POMDPs: Extended Version

Christopher Amato, Frans A. Oliehoek|arXiv (Cornell University)|2014. 04. 04.

Reinforcement Learning in Robotics참고 문헌 50인용 수 3

한 줄 요약

이 논문은 다중 에이전트 POMDP에서 상호작용의 국소성을 요소로 삼아 인과적 가치 함수와 인과적 통계를 활용함으로써 큰 행동 및 관측 공간으로도 확장 가능한 새로운 온라인 계획 알고리즘인 FV-POMCP를 소개한다. 가치 함수를 겹치는 요소로 분해하고, 샘플 기반 롤아웃을 사용하는 UCT 기반 트리 탐색을 적용함으로써, 최대 10명의 에이전트가 있는 문제에서 높은 품질의 해를 달성하며, 기존의 표준 POMCP보다 계획 및 베이지안 강화학습 환경 모두에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Online, sample-based planning algorithms for POMDPs have shown great promise in scaling to problems with large state spaces, but they become intractable for large action and observation spaces. This is particularly problematic in multiagent POMDPs where the action and observation space grows exponentially with the number of agents. To combat this intractability, we propose a novel scalable approach based on sample-based planning and factored value functions that exploits structure present in many multiagent settings. This approach applies not only in the planning case, but also in the Bayesian reinforcement learning setting. Experimental results show that we are able to provide high quality solutions to large multiagent planning and learning problems.

연구 동기 및 목표

• 다중 에이전트 시스템에서 기존 POMDP 및 MPOMDP 계획 방법의 확장성에 장애가 되는 행동 및 관측 공간의 지수적 증가 문제를 해결하기 위해.
• 완전히 인과적 모델이 필요 없이도 대규모 다중 에이전트 POMDP를 효율적으로 처리할 수 있는 온라인, 샘플 기반 계획 알고리즘을 개발하기 위해.
• 특히 무한 상태 공간을 가진 베이즈-적응형 POMDP에 대해, 샘플 기반 계획의 적용 범위를 다중 에이전트 환경의 베이지안 강화학습으로 확장하기 위해.
• 에이전트 간의 구조적 의존성을 활용하여 중심집중형 다중 에이전트 시스템에서 효율적인 동시 행동 선택과 믿음 갱신을 가능하게 하기 위해.
• 인과적 가치 함수 근사가 몬테카를로 트리 탐색에 효과적으로 통합될 수 있으며, 확장성과 해 품질을 유지할 수 있음을 입증하기 위해.

제안 방법

• FV-POMCP는 국소적 에이전트 상호작용 기반의 가치 함수 구성 요소를 나타내는 인과적 통계를 도입하여 POMCP를 확장함으로써, 계획 과정에서 고려해야 할 연합 행동의 수를 줄였다.
• 노드가 부분적 행동-관측 역사를 나타내는 인과적 트리 구조를 사용하여, 관련이 없는 연합 행동 분지의 효율적 탐색 및 잘라내기를 가능하게 하였다.
• 신뢰도 상한(UCT)을 적용하여 인과적 트리의 유망한 분지에서의 탐색을 우선시함으로써 믿음 공간 내에서 탐색과 이용의 균형을 확보하였다.
• 겹치는 국소 구성 요소로 Q-값 함수를 분해함으로써 가치 함수 근사를 달성하였으며, 이는 완전히 인수 분해된 MDP 모델이 필요 없이도 확장 가능한 계산을 가능하게 하였다.
• 초기 상태 샘플을 생성하기 위해 루트 샘플링을 사용하였으며, 이를 바탕으로 레이어드 트리에서 궤적을 시뮬레이션하고 수익을 추정하기 위해 롤아웃을 수행하였다.
• 모델 불확실성을 믿음 상태의 일부로 간주함으로써, 계획 및 베이지안 강화학습을 모두 지원함으로써, 베이즈-적응형 POMDP에서 효율적인 학습이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 다중 에이전트 POMDP의 온라인 몬테카를로 트리 탐색에 인과적 가치 함수 근사를 효과적으로 통합할 수 있는가?
• RQ2 에이전트들이 다른 일부 에이전트만과 상호작용하는 상호작용의 국소성은 대규모 MPOMDP에서 샘플 기반 계획의 성능 및 효율성에 어떤 영향을 미치는가?
• RQ3 FV-POMCP는 행동 및 관측 공간이 지수적으로 증가하는 상황에서 4~5명을 초월하는 더 많은 에이전트가 있는 문제에 얼마나 확장 가능한가?
• RQ4 FV-POMCP는 행동 및 관측 공간이 큰 다중 에이전트 시스템에서 계획 및 베이지안 강화학습 과제에서 표준 POMCP를 능가할 수 있는가?
• RQ5 인과적 통계와 인과적 트리의 사용은 MPOMDP에서 계산 복잡도를 크게 감소시키면서도 해 품질을 유지하는가?

주요 결과

• FV-POMCP는 최대 10명의 에이전트가 있는 다중 에이전트 POMDP에 대해 성공적으로 확장되었으며, 해 품질과 계산 효율성 측면에서 표준 POMCP보다 뚜렷한 향상을 보였다.
• 모델 불확실성으로 인해 무한 상태 공간을 가진 문제를 포함하여, MPOMDP의 베이지안 강화학습 환경에서도 높은 품질의 해를 달성하였다.
• FV-POMCP는 계획 및 학습 과제에서 비인과적 POMCP보다 뛰어난 성능을 보였으며, 상호작용의 국소성 이용이 측정 가능한 성능 향상을 이끌어낸다는 것을 확인하였다.
• 인과적 통계와 인과적 트리의 사용은 고려해야 할 연합 행동 및 역사를 줄여주어, 정책 품질을 훼손하지 않으면서도 더 큰 문제에 대한 확장 가능성을 보장하였다.
• 실험 결과는 가치 함수가 근사적으로만 인과 분해된 경우에도 알고리즘이 강력한 성능을 유지함을 보여주었으며, 이는 실세계의 다중 에이전트 시스템에 광범위하게 적용 가능함을 시사한다.
• 이 방법은 전통적 방법이 상태, 행동, 관측 공간이 지수적으로 증가하는 탓에 실패하는 복잡한 다중 에이전트 환경에서 효율적인 온라인 계획 및 학습을 가능하게 하였다.