[논문 리뷰] Multilevel Monte-Carlo for Solving POMDPs Online.

Marcus Hörger, Hanna Kurniawati외 1명|arXiv (Cornell University)|2019. 07. 23.

Reinforcement Learning in Robotics참고 문헌 32인용 수 7

한 줄 요약

이 논문은 복잡한 비선형 역학을 가진 시스템에서 몽테카를로 트리 탐색의 계산 비용을 줄이기 위해 다중수준 몽테카를로 방법을 통합한 온라인 POMDP 솔버인 멀티레벨 POMDP 플래너(MLPP)를 제안한다. MLPP는 네 가지 로봇 제어 과제에서 최신 기술 대비 유의미하게 빠른 수렴 속도와 뛰어난 성능을 달성한다.

ABSTRACT

Planning under partial obervability is essential for autonomous robots. A principled way to address such planning problems is the Partially Observable Markov Decision Process (POMDP). Although solving POMDPs is computationally intractable, substantial advancements have been achieved in developing approximate POMDP solvers in the past two decades. However, computing robust solutions for systems with complex dynamics remain challenging. Most on-line solvers rely on a large number of forward-simulations and standard Monte-Carlo methods to compute the expected outcomes of actions the robot can perform. For systems with complex dynamics, e.g., those with non-linear dynamics that admit no closed form solution, even a single forward simulation can be prohibitively expensive. Of course, this issue exacerbates for problems with long planning horizons. This paper aims to alleviate the above difficulty. To this end, we propose a new on-line POMDP solver, called Multilevel POMDP Planner (MLPP), that combines the commonly known Monte-Carlo-Tree-Search with the concept of Multilevel Monte-Carlo to speed-up our capability in generating approximately optimal solutions for POMDPs with complex dynamics. Experiments on four different problems of POMDP-based torque control, navigation and grasping indicate that MLPP substantially outperforms state-of-the-art POMDP solvers.

연구 동기 및 목표

• 복잡한 비선형 역학을 가진 실시간 로봇 응용에서 POMDP를 해결하는 데 있어 계산적으로 비가능한 문제를 해결한다.
• 특히 장기 계획 수평에서 발생하는 고비용의 전방 시뮬레이션 비용을 줄인다.
• 다중수준 몽테카를로를 활용해 다양한 해상도 수준 간의 시뮬레이션 샘플을 재사용함으로써 몽테카를로 트리 탐색의 효율성을 향상시킨다.
• 어려운 로봇 과제를 위한 근사 최적 정책을 더 적은 수의 시뮬레이션으로 생성할 수 있는 확장성 있고 견고한 온라인 플래너를 개발한다.

제안 방법

• 다양한 시뮬레이션 정밀도 수준에서 가치 함수 추정의 분산을 줄이기 위해 몽테카를로 트리 탐색(MCTS)에 다중수준 몽테카를로(MLMC)를 통합한다.
• 저비용에서 고비용까지 다양한 계산 비용을 가지는 시뮬레이션 모델의 계층을 사용하여 기대 보상을 더 효율적으로 계산한다.
• 더 낮은 수준의 시뮬레이션에서 생성된 샘플을 더 높은 수준의 기대 결과 추정에 재사용함으로써 고정밀도 시뮬레이션의 수를 줄인다.
• MCTS의 롤아웃 단계에 MLMC 기반 분산 감소 기법을 적용하여 트리 확장 및 역전파 단계에서 샘플 효율성을 향상시킨다.
• 각 노드가 믿음 상태와 행동가치 추정치를 저장하는 트리 구조를 유지하며, MLMC 가속 시뮬레이션을 통해 이를 업데이트한다.
• MLMC 분산 추정치에 기반해 불확실성이 높고 잠재 수익이 큰 노드를 우선순위로 정함으로써 탐색과 이용의 균형을 동적으로 유지한다.

실험 결과

연구 질문

• RQ1 다중수준 몽테카를로는 복잡한 로봇 시스템의 온라인 POMDP 계획에서 고정밀도 시뮬레이션의 수를 줄일 수 있는가?
• RQ2 MLMC를 MCTS에 통합하면 POMDP 솔버의 샘플 효율성과 수렴 속도가 어떻게 향상되는가?
• RQ3 MLPP는 솔루션 품질과 계산 비용 측면에서 기존 최신 기술 대비 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 방법은 비선형 역학을 가진 다양한 로봇 과제에서 견고성과 성능을 유지하는가?

주요 결과

• MLPP는 POMDP 계획에서 주어진 솔루션 품질에 도달하기 위해 필요한 고비용 고정밀도 시뮬레이션의 수를 크게 줄였다.
• MLMC를 MCTS에 통합함으로써 온라인 계획에서 더 빠른 수렴 속도와 향상된 샘플 효율성을 달성했다.
• MLPP는 복잡한 역학을 가진 토크 제어, 내비게이션, 잡기 등의 네 가지 벤치마크 과제에서 최신 기술 대비 뛰어난 성능을 보였다.
• 더 적은 수의 시뮬레이션으로도 뛰어난 성능를 달성하여 장수평 계획 문제에서 강력한 확장성과 견고성을 입증했다.