[논문 리뷰] Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions

Shayegan Omidshafiei, Ali‐akbar Agha‐mohammadi외 2명|arXiv (Cornell University)|2015. 02. 20.

Bayesian Modeling and Causal Inference인용 수 11

한 줄 요약

이 논문은 비밀통보된 부분 관측 가능이고 비동기적으로 작동하는 환경에서 확장성 있고 비동기적인 다중 로봇 계획을 가능하게 하는 분산형 부분 관측 가능 반 Markov 결정 과정(Dec-POSMDP) 프레임워크를 제안한다. 이는 폐쇄형 믿음 공간 매크로행동(MA)을 사용한다. 이 방법은 그래프 기반 계획을 통해 자동으로 강건하고 시간적으로 연장된 MA를 생성하며, 표준 몽테카를로 검색보다 118% 높은 기대 정책 가치를 달성하는 새로운 몽테카를로 검색 알고리즘(MMCS)을 활용한다. 이는 복잡한 패키지 배달 과제에서 고품질의 해를 대규모 문제에 대해 가능하게 한다.

ABSTRACT

The focus of this paper is on solving multi-robot planning problems in continuous spaces with partial observability. Decentralized partially observable Markov decision processes (Dec-POMDPs) are general models for multi-robot coordination problems, but representing and solving Dec-POMDPs is often intractable for large problems. To allow for a high-level representation that is natural for multi-robot problems and scalable to large discrete and continuous problems, this paper extends the Dec-POMDP model to the decentralized partially observable semi-Markov decision process (Dec-POSMDP). The Dec-POSMDP formulation allows asynchronous decision-making by the robots, which is crucial in multi-robot domains. We also present an algorithm for solving this Dec-POSMDP which is much more scalable than previous methods since it can incorporate closed-loop belief space macro-actions in planning. These macro-actions are automatically constructed to produce robust solutions. The proposed method's performance is evaluated on a complex multi-robot package delivery problem under uncertainty, showing that our approach can naturally represent multi-robot problems and provide high-quality solutions for large-scale problems.

연구 동기 및 목표

• 연속적이고 부분 관측 가능한 도메인에서 비동기적 의사결정을 하는 대규모 Dec-POMDP를 해결하는 데 있어 비가역성 문제를 해결하기 위해.
• 시간적으로 연장된 행동(매크로행동)을 통해 다중 로봇 협업 문제의 스케일링 가능한 고수준 표현을 가능하게 하기 위해.
• 비동기적이고 변동 시간 길이의 매크로행동를 지원하며, 완료 시간과 성공 확률을 분석적으로 기술하는 공식적 프레임워크(Dec-POSMDP)를 개발하기 위해.
• 계산 제약 조건 하에서 정책 공간을 효과적으로 탐색하기 위해 매크로행동 성질을 활용하는 효율적인 검색 알고리즘(MMCS)을 설계하기 위해.
• 불확실성 하에서 실제 세계의 복잡한 다중 로봇 패키지 배달 과제에서 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 분산형 POMDP를 Dec-POSMDP로 확장하여 부분 관측 가능하고 연속 상태 도메인에서 비동기적 의사결정과 변동 시간 길이의 매크로행동를 모델링한다.
• 각 LMA(지역 매크로행동)가 믿음 상태를 종료 믿음 상태로 유도하는 피드백 제어기 역할을 하도록 그래프 기반 계획을 사용해 폐쇄형 믿음 공간 매크로행동를 자동으로 구성한다.
• 완료 시간과 성공 확률과 같은 핵심 매크로행동 성질을 분석적으로 기술하여 Dec-POSMDP 프레임워크에 통합할 수 있도록 한다.
• 유망한 정책에 대한 지식을 활용하여 정책 공간 내 탐색과 이용을 향상시키는 새로운 몽테카를로 검색 알고리즘(MMCS)을 적용한다.
• LMA 그래프에 동적 프로그래밍을 적용하여 각 매크로행동에 대해 최적의 정책을 합성함으로써 센서 노이즈와 불확실성에 강건한 성능을 확보한다.
• 2차원 연속 상태 공간과 확률적 관측을 갖는 다중 로봇 패키지 배달 도메인에 프레임워크를 적용하고 시뮬레이션을 통해 성능를 검증한다.

실험 결과

연구 질문

• RQ1 비동기적 의사결정이 가능한 분산형, 부분 관측 가능, 연속 상태 도메인에 매크로행동를 효과적으로 확장할 수 있는가?
• RQ2 완료 시간과 성공 확률 측면에서 변수 길이의 폐쇄형 매크로행동를 어떻게 공식적으로 기술할 수 있는가?
• RQ3 Dec-POSMDP의 고차원 정책 공간을 효율적으로 탐색할 수 있는 확장 가능한 검색 알고리즘을 설계할 수 있는가?
• RQ4 믿음 공간 매크로행동를 사용할 경우, 원시 행동 기반 Dec-POMDP에 비해 해의 품질과 확장성에서 뚜렷한 향상이 이루어지는가?
• RQ5 이 프레임워크는 불확실성 하에서 복잡한 다중 로봇 과제에 대해 고품질이고 강건한 제어기를 생성할 수 있는가?

주요 결과

• 패키지 배달 도메인에서 1000회 반복 후 MMCS 알고리즘이 표준 몽테카를로 검색보다 118% 높은 기대 정책 가치를 달성했다.
• 1000회 검색 반복 후, MMCS 정책은 일부 시뮬레이션에서 최대 9개의 패키지를 배달했고, 몽테카를로 정책은 2개를 초과해 배달하는 데 거의 성공하지 못했다.
• 고정된 시간 범위 내에 최소 3개의 패키지를 배달할 성공 확률이 MMCS 정책에서 몽테카를로 정책보다 뚜렷이 높았다.
• 각 매크로행동의 가치 함수, 성공 확률, 완료 시간이 믿음 공간 전체에 걸쳐 분석적으로 기술되었으며, 이는 계획에 강건하게 통합될 수 있도록 했다.
• 제안된 Dec-POSMDP 프레임워크는 전통적인 Dec-POMDP 방법으로는 해결이 불가능한 대규모 연속 상태 부분 관측 가능 다중 로봇 문제를 확장성 있게 해결할 수 있다.
• 매크로행동의 변동 시간 길이와 확률적 종료를 모델링함으로써 비동기적 의사결정을 지원하여 실제 로봇 시스템에 실용적으로 구현할 수 있도록 한다.