[논문 리뷰] POMDP-lite for Robust Robot Planning under Uncertainty

Min Chen, Emilio Frazzoli외 2명|arXiv (Cornell University)|2016. 02. 16.

Reinforcement Learning in Robotics참고 문헌 23인용 수 4

한 줄 요약

이 논문은 은닉 상태가 정적이거나 결정적으로 변화하는 POMDP의 처리 가능한 하위클래스인 POMDP-lite를 소개한다. 이는 은닉 매개변수로 인덱싱된 MDP 집합과의 등가성 덕분에 효율적인 계획 수립이 가능하다. 저자들은 near-Bayesian 최적성을 달성하는 모델 기반 베이지안 강화학습 알고리즘을 제안하였으며, 최대 10^20개 상태를 가진 대규모 문제에서 최신의 POMDP 솔버들을 능가한다.

ABSTRACT

The partially observable Markov decision process (POMDP) provides a principled general model for planning under uncertainty. However, solving a general POMDP is computationally intractable in the worst case. This paper introduces POMDP-lite, a subclass of POMDPs in which the hidden state variables are constant or only change deterministically. We show that a POMDP-lite is equivalent to a set of fully observable Markov decision processes indexed by a hidden parameter and is useful for modeling a variety of interesting robotic tasks. We develop a simple model-based Bayesian reinforcement learning algorithm to solve POMDP-lite models. The algorithm performs well on large-scale POMDP-lite models with up to $10^{20}$ states and outperforms the state-of-the-art general-purpose POMDP algorithms. We further show that the algorithm is near-Bayesian-optimal under suitable conditions.

연구 동기 및 목표

• 대규모 로봇 계획에서 일반 POMDP의 계산 비용이 과도한 문제를 해결한다.
• 은닉 상태 변수가 일정하거나 결정적으로 변화하는 경우에 대해 확장 가능한 로봇 계획 프레임워크를 개발한다.
• 알 수 없는 그러나 고정된 시스템 매개변수, 목표 또는 유형을 가진 부분 관측 환경에서 효율적인 온라인 계획을 가능하게 한다.
• 적절한 조건 하에서 계산적으로 효율적이면서 near-최적의 베이지안 성질을 갖춘 모델 기반 베이지안 강화학습 알고리즘을 설계한다.
• 최신의 일반 목적 POMDP 솔버들과 비교해 대규모 POMDP-lite 문제에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 은닉 상태가 일정하거나 결정적으로 변화하는 POMDP의 하위클래스인 POMDP-lite를 정의한다.
• 은닉 매개변수로 인덱싱된 MDP의 집합과의 이론적 등가성을 확립한다.
• 전이 및 관측 불확실성을 흠모하기 위해 POMDP 상태와 관측을 조합하여 확장된 MDP 상태를 구성한다.
• 은닉 매개변수에 대한 믿음을 유지하고 베이지안 추론을 통해 이를 갱신하는 모델 기반 베이지안 강화학습 알고리즘을 개발한다.
• 확장된 MDP 상태 공간에서 탐색과 이용의 균형을 이루기 위해 베이지안 갱신을 적용한 몬테카를로 트리 탐색(MCTS)을 사용한다.
• 1초 이내의 단계별 계획 시간을 확보하여 실시간 성능을 달성할 수 있도록 온라인으로 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 정적 또는 결정적으로 변화하는 은닉 상태를 가진 제한된 POMDP 클래스가 등가의 MDP로 변환되어 효율적인 계획 수립이 가능한가?
• RQ2 POMDP-lite의 MDP 등가성 특성을 활용해 강력하고 near-최적의 의사결정을 수행할 수 있는 베이지안 강화학습 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 제안된 알고리즘이 최대 10^20개 상태를 가진 대규모 문제에서 일반 목적 POMDP 솔버보다 얼마나 뛰어난가?
• RQ4 불확실한 초기 물체 위치를 가진 컵 집기와 같은 연속 상태 로봇 작업에서 알고리즘의 성능은 어떠한가?
• RQ5 POMDP-lite 프레임워크는 알 수 없는 매개변수, 목표 또는 인간 행동 유형을 포함하는 실제 로봇 작업을 효과적으로 모델링할 수 있는가?

주요 결과

• 로봇 암 집기 작업에서 모델 평가 시 알고리즘이 15.56 ± 0.31의 보상을 달성하였고, V-REP 시뮬레이션에서는 15.46 ± 1.20의 보상을 기록하여 POMCP, DESPOT 및 평균 MDP를 모두 능가했다.
• 집기 작업에서 모델 평가 시 100% 성공률, 시뮬레이션에서는 98% 성공률을 기록하여 모든 기준보다 뛰어난 성능를 보였다.
• Rocksample 및 Battleship 문제에서 문제 크기가 커짐에 따라도 알고리즘이 강력한 성능를 유지하는 반면, SARSOP과 같은 오프라인 솔버는 더 큰 인스턴스에서 실패했다.
• 일반 목적 POMDP 솔버가 비현실적이게 되는 10^20개 상태까지의 POMDP-lite 모델에 대해도 알고리즘이 효과적으로 스케일링됨을 입증했다.
• 적절한 조건 하에서 알고리즘은 near-Bayesian 최적성을 달성하여 이론적 타당성과 함께 경험적 승리도 입증했다.
• 은닉 매개변수로 인덱싱된 MDP 집합과의 POMDP-lite 등가성 덕분에 베이지안 갱신과 MCTS를 통한 효율적인 온라인 계획 수립이 가능하다.