[논문 리뷰] A Symbolic SAT-based Algorithm for Almost-sure Reachability with Small Strategies in POMDPs

Krishnendu Chatterjee, Martin Chmelík외 1명|arXiv (Cornell University)|2015. 01. 01.

Formal Methods in Verification참고 문헌 41인용 수 24

한 줄 요약

이 논문은 소규모 메모리 전략을 사용하는 POMDP에서 거의 확실한 도달 문제를 해결하기 위한 기호적 SAT 기반 알고리즘을 제시한다. 문제를 명제 논리로 인코딩하고 효율적인 SAT 솔버를 활용함으로써, 명시적 방법보다 훨씬 더 우수한 확장성을 확보하여 대규모 POMDP 인스턴스에서 최소한의 메모리 사용으로 거의 확실한 도달성을 검증할 수 있다.

ABSTRACT

POMDPs are standard models for probabilistic planning problems, where an agent interacts with an uncertain environment. We study the problem of almost-sure reachability, where given a set of target states, the question is to decide whether there is a policy to ensure that the target set is reached with probability 1 (almost-surely). While in general the problem is EXPTIME-complete, in many practical cases policies with a small amount of memory suffice. Moreover, the existing solution to the problem is explicit, which first requires to construct explicitly an exponential reduction to a belief-support MDP. In this work, we first study the existence of observation-stationary strategies, which is NP-complete, and then small-memory strategies. We present a symbolic algorithm by an efficient encoding to SAT and using a SAT solver for the problem. We report experimental results demonstrating the scalability of our symbolic (SAT-based) approach.

연구 동기 및 목표

• 기타의 신뢰성 있는 방법이 필요로 하는 믿음 지지 MDP의 지수적 구성에 기인한 명시적 방법의 확장성 한계를 해결한다.
• 실제 응용 분야에서 실용적이기 위해 소규모 메모리 정책(예: 관측 정적 또는 유한 메모리)의 합성 가능성을 보장한다.
• 명시적 상태공간 구성 없이 확장성이 뛰어난 기호적, SAT 기반 접근법을 개발하여 이전 방법보다 더 큰 POMDP 인스턴스에 대응한다.
• SAT 솔버의 향상이 정성적 POMDP 문제 해결에 직접적으로 기여함을 입증하고, 누적적 및 병렬화 가능한 해결을 가능하게 한다.
• EXPTIME-완전한 명시적 구성의 실용적 대안을 제공하며, 효율적인 인코딩을 통한 SAT로 문제를 축소한다.

제안 방법

• 기호적이고 압축된 인코딩을 사용하여 POMDP에서 거의 확실한 도달 문제를 부울 만족 가능성(SAT) 문제로 변환한다.
• 최악의 경우 변수 수는 제곱수, 절 수는 세제곱 수를 사용하며, 난이도가 높은 사차원 인코딩보다 훨씬 효율적이다.
• 경로 길이를 단계별로 인코딩함으로써 누적적 SAT 해결을 지원하여 최소 메모리 전략을 효율적으로 탐색할 수 있다.
• 유한 메모리(µ 상태)를 갖는 전략을 다룰 수 있도록 SAT 인코딩을 확장함으로써 소규모 메모리 승리 정책의 합성을 가능하게 한다.
• 최신 SAT 솔버를 활용하여 인코딩된 공식을 해결함으로써, 믿음 MDP의 명시적 구성 없이도 문제를 해결한다.
• 누적적 해결을 통합하여 거의 확실한 도달을 위한 최소 메모리 크기를 효율적으로 탐색한다.

실험 결과

연구 질문

• RQ1 POMDP에서 거의 확실한 도달 문제는 믿음 지지 MDP를 명시적으로 구성하지 않고도 기호적으로 해결할 수 있는가?
• RQ2 관측 정적(메모리 없는) 전략을 위한 거의 확실한 도달 문제의 복잡도는 무엇이며, 효율적으로 해결할 수 있는가?
• RQ3 SAT 기반 인코딩을 통해 거의 확실한 도달을 위한 소규모 메모리 전략(유한 메모리)을 효율적으로 합성할 수 있는가?
• RQ4 실제 POMDP 인스턴스에서 SAT 기반 접근법은 명시적 구성 방법보다 성능가 어떻게 비교되는가?
• RQ5 누적적 SAT 해결은 최소 메모리 승리 정책을 찾는 데 얼마나 효율성을 향상시킬 수 있는가?

주요 결과

• POMDP에서 관측 정적 전략을 위한 거의 확실한 도달 문제는 NP-완전이며, 이는 효율적인 SAT 기반 인코딩이 가능함을 의미한다.
• 제안된 SAT 인코딩은 실질적으로 변수 수가 제곱수, 절 수가 세제곱 수를 사용하며, 난이도가 높은 사차원 인코딩보다 훨씬 뛰어나다.
• SAT 기반 접근법은 최대 39,273개 상태를 가진 POMDP 인스턴스(예: 29×20 홀리웨이)까지 확장되었으며, 이 경우 명시적 방법은 30분이 지나도 시간 초과했다.
• 에스케이프 POMDP의 경우, SAT 솔버는 5개 메모리 상태를 가진 승리 정책을 10분 이내로 발견했고, 명시적 방법은 12×12 격자 이하에서만 확장 가능했다.
• 최대 25,173개 상태를 가진 록샘플 인스턴스에서는 SAT 기반 방법이 80초 이내에 문제를 해결했고, 명시적 방법은 더 작은 인스턴스에서도 3분 이상 소요되었다.
• SAT 해결의 메모리 사용은 5.6 GB로 제한되었으며, 명시적 방법은 약 30 GB를 소비하여 더 큰 인스턴스에서 메모리 초과 및 시간 초과가 발생했다.