[논문 리뷰] pomdp_py: A Framework to Build and Solve POMDP Problems

Kaiyu Zheng, Stefanie Tellex|arXiv (Cornell University)|2020. 04. 21.

Robotic Path Planning Algorithms참고 문헌 19인용 수 13

한 줄 요약

이 논문은 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP) 문제의 개발과 해결을 단순화하는 Python 및 Cython 기반 프레임워크인 pomdp_py를 소개한다. 이 프레임워크는 POMDP 모델링을 위한 직관적이고 객체 지향적인 인터페이스를 제공하며, ROS와의 내장 통합을 통해 실세계 적용을 가능하게 한다—3초 이내의 계획 예산 내에서 PO-UCT 계획을 사용하여 터소 액추에이티드 로봇이 3차원 물체 탐색을 성공적으로 수행한 것으로 입증되었다.

ABSTRACT

In this paper, we present pomdp_py, a general purpose Partially Observable Markov Decision Process (POMDP) library written in Python and Cython. Existing POMDP libraries often hinder accessibility and efficient prototyping due to the underlying programming language or interfaces, and require extra complexity in software toolchain to integrate with robotics systems. pomdp_py features simple and comprehensive interfaces capable of describing large discrete or continuous (PO)MDP problems. Here, we summarize the design principles and describe in detail the programming model and interfaces in pomdp_py. We also describe intuitive integration of this library with ROS (Robot Operating System), which enabled our torso-actuated robot to perform object search in 3D. Finally, we note directions to improve and extend this library for POMDP planning and beyond.

연구 동기 및 목표

• 복잡한 실세계 로봇 응용 프로그램을 지원하는 접근성 있고 고성능인 POMDP 라이브러리의 부족을 보완하기 위해.
• Python 기반의 단순하고 확장 가능한 인터페이스를 제공함으로써 POMDP 프로토타이핑의 장벽을 낮추기 위해.
• POMDP 기반 의사결정에서 실시간 로봇 제어 및 센서 피드백을 가능하게 하기 위해 ROS와의 원활한 통합을 제공하기 위해.
• 이산 및 연속 상태/행동 공간을 모두 지원하며, 요소화된 및 객체 지향 POMDP(OO-POMDP)를 포함하기 위해.
• 모듈화되고 재사용 가능한 코드 구조 및 확장 가능한 솔버 인터페이스를 제공함으로써 커뮤니티 기반 개발을 촉진하기 위해.

제안 방법

• 상태, 행동, 관측, 모델(전이, 관측, 보상, 정책)을 위한 별도의 클래스를 포함하는 모듈식 객체 지향 설계를 사용한다.
• 베이즈 규칙에 기반한 민감도 업데이트 메커니즘을 사용하여 핵심 POMDP 구성 요소를 구현하며, 표기 기반 및 입자 기반 민감도 표현 방식을 모두 지원한다.
• POMCP 및 PO-UCT과 같은 사전 구현된 솔버를 포함하며, 새로운 즉각적 알고리즘을 통합하기 위한 일반적인 Planner 인터페이스를 제공한다.
• 상태 및 관측 공간을 속성과 함께 객체로 분해함으로써 OO-POMDP를 지원하여 기하급수적 증가를 방지하고 선형 규모의 민감도 표현을 가능하게 한다.
• rospy를 통해 ROS 통합을 달성하여, POMDP 제어 노드와 로봇 제어 노드 간의 메시지 전달을 통해 실시간 행동 실행 및 관측 수집을 가능하게 한다.
• 다양한 도메인 간 코드 조직, 재사용성 및 커뮤니티 공유를 촉진하기 위해 권장되는 패키지 구조를 제공한다.

실험 결과

연구 질문

• RQ1 연구자들이 접근하기 쉽게 하면서도 실세계 로봇 응용 프로그램에 적합한 고성능 POMDP 라이브러리가 구현될 수 있는가?
• RQ2 파이썬과 같은 고수준 언어를 사용하여 연속 또는 고차원 상태 공간을 갖는 POMDP를 효과적으로 모델링하고 해결할 수 있는가?
• RQ3 표준 로봇 중앙처리 소프트웨어인 ROS와 같은 로봇 중앙처리 소프트웨어를 사용하여 POMDP 계획을 실시간 로봇 시스템에 효율적으로 통합할 수 있는가?
• RQ4 모듈식이고 확장 가능한 프레임워크를 통해 객체 지향 POMDP를 효과적으로 모델링하고 확장할 수 있는가?
• RQ5 커뮤니티 기여와 기존 솔버 및 도구와의 통합을 지원할 수 있도록 POMDP 프레임워크를 아키텍처적으로 설계할 수 있는가?

주요 결과

• pomdp_py 프레임워크는 3차원 물체 탐색과 같은 복잡한 POMDP 문제의 구현을 성공적으로 가능하게 하였다. 이 경우 연속 상태 및 관측 공간을 포함한다.
• ROS를 통해 제어되는 터소 액추에이티드 로봇이 시뮬레이션된 3차원 환경에서 PO-UCT 계획에 따라 행동을 실행하였으며, 각 계획 단계는 3초 이내에 완료되었다.
• ROS 통합은 간편하고 효과적이었으며, rospy 기반 메시지 전달을 통해 실시간 행동 실행 및 관측 수집이 가능했다.
• 프레임워크는 이산 및 연속 도메인을 모두 지원하며, 라이트-다크 도메인과 부채꼴 센서를 갖춘 다중 물체 탐색 사례를 포함하여 광범위한 적용 가능성을 보였다.
• 객체 지향 POMDP(OO-POMDP) 인터페이스를 통해 상태 및 관측 공간을 객체로 분해함으로써 민감도 표현의 스케일링 가능성을 높였으며, 기하급수적 증가를 방지하였다.
• 라이브러리의 모듈식 설계와 명확한 코드 구조는 코드 재사용과 커뮤니티 기여를 촉진하였으며, 이는 다양한 예제 도메인에서의 활용과 활발한 개발을 통해 뒷받침된다.