[논문 리뷰] Policy-contingent abstraction for robust robot control

Joëlle Pineau, Geoff Gordon외 1명|arXiv (Cornell University)|2012. 10. 19.

Formal Methods in Verification참고 문헌 19인용 수 52

한 줄 요약

이 논문은 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)과 계층적 제어를 통합하여 불확실성 하에서 강건한 고수준 의사결정을 가능하게 하는 정책 기반 추상화 방법을 제안한다. 이 방법은 실제 환경에 적용될 수 있도록 스케일업되었으며, 간병 시설에서 성공적으로 시연되었으며, 믿음 불확실성 하에서 의사결정 품질을 향상시키는 고수준 로봇 제어에 POMDP를 유일하게 적용한 사례이다.

ABSTRACT

This paper presents a scalable control algorithm that enables a deployed mobile robot system to make high-level decisions under full consideration of its probabilistic belief. Our approach is based on insights from the rich literature of hierarchical controllers and hierarchical MDPs. The resulting controller has been successfully deployed in a nursing facility near Pittsburgh, PA. To the best of our knowledge, this work is a unique instance of applying POMDPs to high-level robotic control problems.

연구 동기 및 목표

• 모바일 로봇 시스템이 불확실성 하에서 신뢰할 수 있는 고수준 의사결정을 내릴 수 있도록 하는 데에 초점한다.
• 부분 관찰 가능한 환경에서 계층적 제어 아키텍처와 확률적 계획 간 격차를 메우는 데에 초점한다.
• 실제 로봇 구현 환경에서 결정 품질을 유지하면서도 계산적 타당성을 확보하는 확장 가능한 방법을 개발하는 데에 초점한다.
• 의료 시설과 같은 복잡하고 동적인 환경에서 믿음 인식 기반의 강건한 제어를 가능하게 하는 데에 초점한다.

제안 방법

• 이 방법은 고수준 행동을 로봇의 현재 정책과 믿음 상태에 기반하여 정의함으로써 맥락 민감한 추상화를 가능하게 하는 정책 기반 추상화를 활용한다.
• 고수준 계획 동안 센서 관측치와 상태 추정의 불확실성을 고려하기 위해 계층적 MDP와 POMDP를 통합한다.
• 컨트롤러는 믿음 상태를 사용하여 행동 선택을 유도함으로써 인식 모호성과 환경 노이즈에 강건한 의사결정을 보장한다.
• 현재 정책에 따라 추상화가 동적으로 조정되어 상태 공간 복잡도를 감소시키되, 결정 품질은 손상시키지 않는다.
• 고수준 계획을 위해 기존의 POMDP 솔버를 활용하면서도, 정책 조건 기반 추상화를 통해 저수준 실행의 정밀도를 유지한다.

실험 결과

연구 질문

• RQ1 실제 로봇 구현 환경에서 불확실성에 강건한 계층적 제어는 어떻게 달성할 수 있는가?
• RQ2 정책 기반 추상화는 모바일 로봇의 POMDP 기반 계획에서 계산 복잡도를 얼마나 줄일 수 있는가?
• RQ3 POMDP는 복잡하고 동적인 환경, 예를 들어 간병 시설과 같은 환경에서 고수준 제어에 효과적으로 적용될 수 있는가?
• RQ4 믿음 인식 기반 추상화는 전통적인 계층적 또는 믿음 기반 없는 방법에 비해 의사결정 품질을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 믿음 불확실성을 충분히 고려하여 실제 간병 시설에서 모바일 로봇이 고수준 주행 및 작업 계획을 수행하는 데 성공했다.
• 시스템은 센서 노이즈와 부분 관찰에 강건했으며, 다양한 환경 조건에서도 신뢰할 수 있는 성능을 유지했다.
• 정책 기반 추상화 덕분에 전체 POMDP 계획에 비해 계산 복잡도가 크게 감소하여 실시간 구현이 가능해졌다.
• 기존의 믿음 인식 기반 없이 작동하는 계층적 제어기 대비 작업 성공률에서 뚜렷한 향상을 달성했다.