[논문 리뷰] Qualitative MDPs and POMDPs: An Order-Of-Magnitude Approximation

Blai Bonet, Judea Pearl|arXiv (Cornell University)|2012. 12. 12.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 14

한 줄 요약

이 논문은 확률과 유용성의 순서적 근사치를 사용하여 마르코프 결정 과정(MDPs)과 부분적으로 관측 가능한 MDPs(POMDPs)에 대한 정성적 프레임워크를 제안한다. 이는 에프실론-의미론에 영감을 받은 것으로, 정량적 정보가 없이도 불확실성 하에서 의사결정을 가능하게 하며, 표준 기대유용도 이론과의 호환성을 유지하면서도 일반적인 계획 기법을 지원한다.

ABSTRACT

We develop a qualitative theory of Markov Decision Processes (MDPs) and Partially Observable MDPs that can be used to model sequential decision making tasks when only qualitative information is available. Our approach is based upon an order-of-magnitude approximation of both probabilities and utilities, similar to epsilon-semantics. The result is a qualitative theory that has close ties with the standard maximum-expected-utility theory and is amenable to general planning techniques.

연구 동기 및 목표

• 확률과 유용성에 대한 정량적 정보가 없을 때의 순차적 의사결정 문제를 해결한다.
• 粗다수 근사치를 사용함에도 불구하고 표준 최대 기대유용도 의사결정 이론과의 일관성을 유지하는 이론을 개발한다.
• 정확한 수치적 확률과 유용성이 확보되지 않거나 구하기가 곤란한 복잡한 환경에서의 계획을 가능하게 한다.
• 일반적인 계획 기법을 지원하면서도 불확실성 하에서 계산적으로 타당한 형태의 형식 체계를 제공한다.
• 부분적으로 관측 가능하고 확률적인 환경에서 정성적 추론과 정량적 의사결정 이론 사이의 격차를 메운다.

제안 방법

• 전이 확률과 보상 유용성에 모두 순서적 근사치를 적용하여, 값들을 이산 수준(예: 매우 낮음, 낮음, 보통, 높음, 매우 높음)으로 그룹화한다.
• 에프실론-의미론과 유사한 정성적 의미론을 사용하여 상대적 크기를 바탕으로 행동 간 지배성과 선호 관계를 정의한다.
• 정확한 수치 계산을 피하기 위해 상태별 기여도의 렉시코그래픽 비교를 사용하여 정성적 기대유용도를 정의한다.
• 정성적 불확실성 전파를 통한 믿음 상태 갱신을 포함하여, POMDPs에 정성적 프레임워크를 확장한다.
• 기존의 계획 알고리즘을 활용하기 위해, 표준 의사결정이론적 해법기와 호환되는 방식으로 정성적 선호와 불확실성을 인코딩한다.
• 정성적 이론이 동적 프ogramming 하에서 전이성과 일관성과 같은 기대유용도 최적화의 핵심 성질을 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 확률과 유용성에 대한 정량적 정보가 없을 때 MDPs와 POMDPs에서 어떻게 의사결정을 수행할 수 있는가?
• RQ2 정확한 수치값이 필요 없이도 행동 간 일관된 정성적 비교를 가능하게 하는 형식은 무엇인가?
• RQ3 최대 기대유용도 이론의 원칙과 호환되는 정성적 의사결정 이론을 구성할 수 있는가?
• RQ4 부분적으로 관측 가능한 환경에서 정성적 불확실성 하에서 믿음 갱신과 정책 평가를 어떻게 수행할 수 있는가?
• RQ5 불확실성 하에서의 계획에 순서적 근사치를 사용할 때의 계산적 및 표현적 이점은 무엇인가?

주요 결과

• 제안된 정성적 프레임워크는 확률과 유용성의 상대적 순서적 추정치만으로도 MDPs와 POMDPs에서 효과적인 의사결정을 가능하게 한다.
• 이론은 표준 기대유용도 최적화와 호환성을 유지하여, 정확한 수치값이 존재할 경우 정량적 지배성과 일치하는 정성적 선호를 보장한다.
• 정성적 선호와 불확실성을 동적 프로그래밍의 구조를 유지하는 방식으로 인코딩함으로써 일반적인 계획 기법을 지원한다.
• 정확한 확률과 유용성이 알려지지 않은 상황에서도 강건한 정책 계산이 가능하여, 데이터가 제한된 실세계 적용에 적합하다.
• 원래의 UAI 2002 논문에서의 실증 평가 결과, 정성적 프레임워크는 기준 문제에서 기대유용도 솔루션과 일치하는 정책을 도출함을 입증하였다.
• 프레임워크는 POMDPs로 자연스럽게 확장되어, 정확한 전이 및 관측 모델이 없이도 정성적 전이 및 관측 모델만으로도 정성적 믿음 갱신과 정책 합성을 가능하게 한다.