[논문 리뷰] Qualitative Analysis of POMDPs with Temporal Logic Specifications for Robotics Applications

Krishnendu Chatterjee, Martin Chmelík외 2명|arXiv (Cornell University)|2014. 01. 01.

Formal Methods in Verification참고 문헌 27인용 수 1

한 줄 요약

이 논문은 로봇 분야에서 부분 관측 가능 마르코프 결정 과정(POMDPs)에 대한 시간 논리 명세를 갖는 정성적 분석 문제를 해결하기 위한 최초의 실용적 접근법을 제시한다. 이전 연구에서 제안된 EXPTIME-완비 알고리즘과 휴리스틱을 조합함으로써, 저자들은 거의 확실하게 LTL 성질을 만족시키는 유한 메모리 제어기를 스케일러블하게 합성할 수 있게 되었으며, 초부터 수분 내에 벤치마크 로봇 문제를 성공적으로 해결하였다.

ABSTRACT

We consider partially observable Markov decision processes (POMDPs), that are a standard framework for robotics applications to model uncertainties present in the real world, with temporal logic specifications. All temporal logic specifications in linear-time temporal logic (LTL) can be expressed as parity objectives. We study the qualitative analysis problem for POMDPs with parity objectives that asks whether there is a controller (policy) to ensure that the objective holds with probability 1 (almost-surely). While the qualitative analysis of POMDPs with parity objectives is undecidable, recent results show that when restricted to finite-memory policies the problem is EXPTIME-complete. While the problem is intractable in theory, we present a practical approach to solve the qualitative analysis problem. We designed several heuristics to deal with the exponential complexity, and have used our implementation on a number of well-known POMDP examples for robotics applications. Our results provide the first practical approach to solve the qualitative analysis of robot motion planning with LTL properties in the presence of uncertainty.

연구 동기 및 목표

• 시간 논리 명세를 사용한 불확실성 하에서의 로봇 운동 계획 문제를 다루기.
• 패리티 목표를 갖는 POMDPs에 대한 정성적 분석 문제를 해결하여 LTL 성질의 거의 확실한 만족을 보장하기.
• 이론적으로 EXPTIME-완비성 문제임에도 불구하고, 실용적이고 스케일러블한 유한 메모리 제어기 알고리즘 개발.
• 부분 관측 가능성과 복잡한 시간적 요구사항을 수반하는 실세계 로봇 작업에 형식적 방법의 적용 가능하게 하기.
• 로봇 응용 사례에 효과적인 도메인 특화 휴리스틱을 도입함으로써 POMDP 분석의 비가역성 극복하기.

제안 방법

• LTL 명세를 결정성 패리티 온톨로지로 변환하여, 패리티 목표를 갖는 POMDP 문제로 문제를 재정의하기.
• 유한 메모리 제어기를 사용한 패리티 목표를 갖는 POMDPs에 대한 정성적 분석을 위한 EXPTIME-완비 알고리즘 적용하기.
• 지수적 증가하는 믿음 상태 공간을 관리하기 위해 휴리스틱 도입, 특히 믿음 지원 집합 축소 및 가지치기 중점적으로 적용하기.
• 전체 명시적 열거를 피하기 위해 점진적 및 기호 기반 기법을 통한 부분 집합 구성 최적화하기.
• 거의 확실한 승리 전략이 존재할 경우, 유한 메모리 제어기를 합성하는 도구 구현하기.
• 검증을 단순화하기 위해 패리티 목표를 코-부흐이 목표로 변환하기 위한 모델 축소 기법 사용하기.

실험 결과

연구 질문

• RQ1 패리티 목표를 갖는 POMDPs에 대한 정성적 분석 문제는 EXPTIME-완비성에도 불구하고 실용적으로 해결될 수 있는가?
• RQ2 시간 논리 제약 조건이 있는 POMDPs의 믿음 공간 구성에서 상태 폭발을 효과적으로 줄일 수 있는 휴리스틱은 무엇인가?
• RQ3 유한 메모리 제어기는 실세계 로봇 문제에서 LTL 성질의 거의 확실한 만족을 어느 정도 보장할 수 있는가?
• RQ4 제안된 휴리스틱은 로봇 응용 분야(예: 이동 및 탐색)에서의 벤치마크 POMDPs에서 어떻게 성능을 발휘하는가?
• RQ5 상태 공간과 관측 복잡도가 증가함에 따라 이 접근법의 스케일러비리티는 어떠한가?

주요 결과

• 제안된 휴리스틱 덕분에 EXPTIME 알고리즘이 실용적이게 되었으며, 최대 709개 상태를 갖는 POMDPs를 21초 이내에 해결할 수 있었다.
• 홀레이 및 미로 문제의 모든 변종이 각각 20초 이내(홀레이) 및 12분 이내(미로)에 해결되었으며, 복잡한 목표(예: 재방문 및 장애물 회피)도 포함되어 있었다.
• 최대 15개 상태를 갖는 스페이스 샤클러 및 치즈 미로 문제들은 1.1초 이내에 해결되어 소형에서 중형 모델에 대한 효율성을 입증하였다.
• 휴리스틱 없이 구현한 경우 실패했으며, 모든 테스트 사례에서 전체 부분 집합 구성의 비현실적인 비용을 피하기 위해 휴리스틱의 필요성을 확인하였다.
• 최대 3921개 상태를 갖는 RS[4,2] 및 RS[4,3] 문제도 각각 15초 이내 및 15분 이내에 성공적으로 해결하였다.
• 가장 큰 해결 사례인 미로 B(641개 상태, 축소 후 642개 상태)는 668.17초 이내에 해결되어 복잡한 로봇 작업에 대한 스케일러비리티를 입증하였다.