[논문 리뷰] Multiagent Rollout and Policy Iteration for POMDP with Application to Multi-Robot Repair Problems

Sushmita Bhattacharya, Siva Kailas외 3명|arXiv (Cornell University)|2020. 11. 09.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 다수의 에이전트가 존재하는 대규모 부분 관측 가능 마르코프 결정 과정(POMDP) 문제를 해결하기 위해 다중 에이전트 롤아웃 및 근사 정책 반복 알고리즘을 제안한다. 다중 에이전트 구조를 활용해 계산량을 줄이면서도 정책 향상을 유지한다. 32개 노드로 구성된 로봇 수리 문제에서 최대 10명의 에이전트를 대상으로 표준 롤아웃 및 최신 기법인 POMCP와 MADDPG를 뛰어넘는 스케일링 성능을 보이며, 한 에이전트씩 처리하는 효율적이고 순서 최적화된 롤아웃, 종료 비용 근사 기법을 통해 near-optimal 성능을 달성한다.

ABSTRACT

In this paper we consider infinite horizon discounted dynamic programming problems with finite state and control spaces, partial state observations, and a multiagent structure. We discuss and compare algorithms that simultaneously or sequentially optimize the agents' controls by using multistep lookahead, truncated rollout with a known base policy, and a terminal cost function approximation. Our methods specifically address the computational challenges of partially observable multiagent problems. In particular: 1) We consider rollout algorithms that dramatically reduce required computation while preserving the key cost improvement property of the standard rollout method. The per-step computational requirements for our methods are on the order of $O(Cm)$ as compared with $O(C^m)$ for standard rollout, where $C$ is the maximum cardinality of the constraint set for the control component of each agent, and $m$ is the number of agents. 2) We show that our methods can be applied to challenging problems with a graph structure, including a class of robot repair problems whereby multiple robots collaboratively inspect and repair a system under partial information. 3) We provide a simulation study that compares our methods with existing methods, and demonstrate that our methods can handle larger and more complex partially observable multiagent problems (state space size $10^{37}$ and control space size $10^{7}$, respectively). Finally, we incorporate our multiagent rollout algorithms as building blocks in an approximate policy iteration scheme, where successive rollout policies are approximated by using neural network classifiers. While this scheme requires a strictly off-line implementation, it works well in our computational experiments and produces additional significant performance improvement over the single online rollout iteration method.

연구 동기 및 목표

• 부분 관측 가능 조건 하에서 다수의 에이전트를 포함한 대규모 POMDP 문제의 계산 비용 증가 문제를 해결한다.
• 각 단계당 계산량을 O(C^m)에서 O(Cm)로 줄이면서도 정책 향상 성질을 유지하는 효율적인 다중 에이전트 롤아웃 알고리즘을 개발한다.
• 그래프 기반 환경에서의 다중 로봇 수리와 같은 복잡한 대규모 상태공간 문제에 적용 가능하도록 한다.
• 신경망을 사용해 가치 함수를 표현함으로써 롤아웃 정책을 근사 정책 반복 프레임워크에 통합하여 성능을 추가로 향상시킨다.
• POMCP 및 MADDPG와 같은 최신 기법들과 비교하여 도전적인 다중 로봇 조율 작업에서의 성능을 평가한다.

제안 방법

• 다단계 전망을 사용하고 롤아웃을 단순화하며 종료 비용 함수 근사를 통해 각 단계의 계산량을 O(C^m)에서 O(Cm)로 줄인다.
• 한 에이전트씩 처리하는 롤아웃을 구현하여 계산 부담을 감소시킨다.
• 에이전트 업데이트 순서를 재정렬함으로써 순차적 방법보다 성능을 향상시키는 순서 최적화된 롤아웃을 적용한다.
• 신경망 분류기로 가치 함수를 표현함으로써 롤아웃 정책을 근사 정책 반복 프레임워크에 통합한다.
• 에이전트 간 민감도 상태 및 제어 정보의 완벽한 통신을 가정하며, 시뮬레이션에서는 비완전한 통신 환경으로의 확장을 고려한다.
• POMCP 및 MADDPG 비교를 위해 몬테카를로 트리 탐색과 마르코프 체인 기반 민감도 업데이트를 사용한다.

실험 결과

연구 질문

• RQ1 단순화된 전망과 종료 비용 근사를 적용한 다중 에이전트 롤아웃이 표준 롤아웃의 정책 향상 성질을 유지하면서도 계산량을 극적으로 줄일 수 있는가?
• RQ2 다중 로봇 POMDP 문제에서 한 에이전트씩 처리하는 롤아웃은 표준 롤아웃 대비 성능과 확장성 측면에서 어떻게 비교되는가?
• RQ3 롤아웃 기반 정책과 신경망을 사용한 근사 정책 반복이 대규모 POMDP 문제에서 추가적인 성능 향상을 이끌 수 있는가?
• RQ4 제안된 방법은 최대 10명의 에이전트와 10^37개 상태공간을 가진 문제에 어떻게 스케일링되는가?
• RQ5 POMCP 및 MADDPG와 비교해 제안된 롤아웃 방법은 비용과 계산 가능성 측면에서 어떻게 비교되는가?

주요 결과

• 한 에이전트씩 처리하는 롤아웃은 계산량을 크게 줄였음에도 불구하고 표준 롤아웃과 유사한 성능을 달성했으며, 특히 4명 이상의 에이전트가 있는 문제에서 뚜렷한 이점이 있었다.
• 순서 최적화된 롤아웃은 한 에이전트씩 처리하는 롤아웃을 뛰어넘는 성능을 보이며, 전략적 에이전트 순서 배치의 유용성을 입증했다.
• 표준 롤아웃은 8명 또는 10명의 에이전트가 있는 문제에서 계산 폭발로 인해 성능을 내지 못했지만, 제안된 방법들은 효과적으로 스케일링되었다.
• POMCP와 MADDPG 모두 4명의 에이전트가 있는 수리 문제에서 기본 정책보다 성능이 열 劣했으며, MADDPG는 기본 정책의 3277에 비해 비용 5520을 기록했다.
• 신경망을 사용한 근사 정책 반복은 다수의 반복 주기 동안 비용 감소 성질을 유지하며 성능을 추가로 향상시켰다.
• 제안된 방법들은 최대 10台의 로봇이 있는 32노드 수리 네트워크를 성공적으로 처리했으며, 10^37개 상태공간과 10^7개 액션공간을 가진 문제에서 최신 기술 수준의 성능을 달성했다.