[논문 리뷰] Anytime State-Based Solution Methods for Decision Processes with non-Markovian Rewards

Sylvie Thiébaux, Froduald Kabanza외 1명|arXiv (Cornell University)|2012. 12. 12.

Formal Methods in Verification참고 문헌 21인용 수 14

한 줄 요약

이 논문은 향후 선형 시간 논리(Future Linear Temporal Logic, FLTL)를 확장하여 비마르코프 보상 함수를 표현하고, 이를 최소 크기의 마르코프 결정 과정(Markov Decision Processes, MDPs)으로 변환함으로써, 비마르코프 보상이 있는 의사결정 과정에 대한 anytime 상태 기반 해결 방법을 제안한다. 이 방법은 모델 체킹을 해결 과정 내부에 통합하여, anytime 알고리즘들이 관련 있는 상태 공간 부분만 탐색할 수 있도록 하여, 이전 방법들에 비해 마감 시간까지 더 높은 품질의 정책을 도출한다.

ABSTRACT

A popular approach to solving a decision process with non-Markovian rewards (NMRDP) is to exploit a compact representation of the reward function to automatically translate the NMRDP into an equivalent Markov decision process (MDP) amenable to our favorite MDP solution method. The contribution of this paper is a representation of non-Markovian reward functions and a translation into MDP aimed at making the best possible use of state-based anytime algorithms as the solution method. By explicitly constructing and exploring only parts of the state space, these algorithms are able to trade computation time for policy quality, and have proven quite effective in dealing with large MDPs. Our representation extends future linear temporal logic (FLTL) to express rewards. Our translation has the effect of embedding model-checking in the solution method. It results in an MDP of the minimal size achievable without stepping outside the anytime framework, and consequently in better policies by the deadline.

연구 동기 및 목표

• 시간 제약 조건 하에서 anytime 알고리즘을 활용해 비마르코프 보상이 있는 의사결정 과정을 효율적으로 해결하는 데 도전한다.
• 효율적인 MDP로의 변환을 가능하게 하는 비마르코프 보상 함수의 압축된 상태 기반 표현 방식을 개발한다.
• anytime 해결 방법과의 호환성을 해치지 않으면서도 결과 MDP의 크기를 최소화한다.
• 해결 과정에 모델 체킹을 통합하여 시간 제약 조건 하에서 정책 품질을 향상시킨다.
• 변환 과정이 최적성 보존을 유지하면서도 점진적인 정책 개선을 가능하게 하도록 보장한다.

제안 방법

• 비마르코프 보상 함수를 압축적이고 의미적으로 정확한 방식으로 표현하기 위해 향후 선형 시간 논리(Future Linear Temporal Logic, FLTL)를 확장한다.
• 상태 공간 크기를 최소화하는 체계적인 구축을 통해 FLTL로 표현된 보상 함수를 등가의 MDP로 변환한다.
• 정책 탐색 중 보상 조건의 정당성을 검증하기 위해 해결 과정 내부에 모델 체킹 기법을 통합한다.
• 계산 시간을 정책 품질로 교환할 수 있도록 점진적으로 상태 공간을 탐색하는 상태 기반 anytime 알고리즘을 사용한다.
• 현재 정책 근사치와 관련된 상태 공간의 부분만 구성함으로써 효율성을 향상시킨다.
• 결과 MDP가 최소 크기이면서도 anytime 해결 프레임워크와 호환되도록 보장한다.

실험 결과

연구 질문

• RQ1 비마르코프 보상 함수는 어떻게 압축적으로 표현할 수 있을까? 이는 MDP로의 효율적 변환을 가능하게 한다.
• RQ2 anytime 알고리즘과의 호환성을 유지하면서도 비마르코프 보상의 MDP로의 변환에서 달성 가능한 최소 크기의 MDP는 얼마인가?
• RQ3 모델 체킹은 해결 과정에 효과적으로 통합되어 정책 개선을 이끌 수 있는가?
• RQ4 기존 접근 방식에 비해 제안된 방법은 시간 제약 조건 하에서 정책 품질을 어떻게 향상시키는가?
• RQ5 상태 기반 anytime 알고리즘은 비마르코프 보상의 압축적이고 의미 인식 기반의 변환으로부터 얼마나 큰 이점을 얻을 수 있는가?

주요 결과

• 제안된 FLTL 확장은 이전 방법들에 비해 더 압축적이고 의미적으로 정확한 비마르코프 보상 표현을 가능하게 한다.
• 변환 과정은 anytime 프레임워크를 유지하면서도 가능한 최소 크기의 MDP를 생성하여 계산 오버헤드를 감소시킨다.
• 해결 과정 내부에 모델 체킹을 통합함으로써, 정책 탐색 중 보상 평가의 정확성을 보장한다.
• 변환된 MDP를 사용하는 anytime 알고리즘은 집중적인 상태 공간 탐색 덕분에 마감 시간까지 더 높은 정책 품질을 달성한다.
• 특히 대규모 의사결정 과정에서 시간 제약 조건 하에서의 정책 품질 측면에서 이전의 변환 방법들을 능가한다.
• 최적성은 유지하면서도 점진적인 개선이 가능하므로 실시간 응용 분야에 적합하다.