[논문 리뷰] A Possibilistic Model for Qualitative Sequential Decision Problems under Uncertainty in Partially Observable Environments

Régis Sabbadin|arXiv (Cornell University)|2013. 01. 23.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 35

한 줄 요약

이 논문은 부분적으로 관찰 가능한 환경에서 불확실성 하에 서열적 의사결정을 위한 가능성 모델을 제안한다. 가능성 분포를 사용하여 불확실성과 선호도를 모두 표현하며, 무한한 민감도 공간을 야기하는 확률적 POMDP와는 달리, 이 접근법은 유한하지만 지수적으로 커진 민감도 상태 공간을 보장하여 순서형 선호도를 가진 정량적 설정에서의 실현 가능한 추론을 가능하게 한다.

ABSTRACT

In this article we propose a qualitative (ordinal) counterpart for the Partially Observable Markov Decision Processes model (POMDP) in which the uncertainty, as well as the preferences of the agent, are modeled by possibility distributions. This qualitative counterpart of the POMDP model relies on a possibilistic theory of decision under uncertainty, recently developed. One advantage of such a qualitative framework is its ability to escape from the classical obstacle of stochastic POMDPs, in which even with a finite state space, the obtained belief state space of the POMDP is infinite. Instead, in the possibilistic framework even if exponentially larger than the state space, the belief state space remains finite.

연구 동기 및 목표

• 유한한 상태 공간이 존재함에도 불구하고 무한한 민감도 상태 공간을 야기하는 확률적 POMDP의 한계를 해결하기 위해.
• 불확실성과 선호도를 표현하기 위해 확률 대신 가능성 이론을 사용하는 정량적 의사결정 모델을 개발하기 위해.
• 순서형(정성적) 선호도 및 불확실성 표현을 사용하여 부분적으로 관찰 가능한 환경에서 실현 가능한 서열적 의사결정을 가능하게 하기 위해.
• 확률적 민감도 업데이트의 계산 비가역성을 피하면서도 의사결정 품질을 유지하는 프레임워크를 제공하기 위해.
• 부분적 관찰 조건 하에서도 유한한 민감도 상태 공간을 정량적 모델에서 달성할 수 있으며, 이를 어떻게 달성할 수 있는지 밝히기 위해.

제안 방법

• 모델은 에이전트의 시스템 상태에 대한 불확실성과 결과에 대한 선호도를 가능성 분포를 통해 표현한다.
• 이론적 의사결정 이론을 확장하여 순서형 의사결정을 서열 설정으로 확장한다.
• 행동 및 관찰을 통해 불확실성을 전파하는 가능성 기반 추론 규칙을 사용하여 민감도 상태를 업데이트한다.
• 유한한 상태 공간이 존재함에도 불구하고 상태에 대한 가능성 분포 집합을 유지함으로써 서열적 의사결정을 지원한다.
• POMDP에 내재된 무한한 민감도 상태 문제를 피하기 위해 가능성 이론의 구조를 활용한다.
• 카디널 유용도 값이 필요하지 않은 순서형 선호도 관계를 사용하여 정책 선택을 이끌어낸다.

실험 결과

연구 질문

• RQ1 부분적으로 관찰 가능한 환경에서 POMDP의 무한한 민감도 상태 문제를 피할 수 있는 정성적, 순서형 의사결정 모델을 개발할 수 있는가?
• RQ2 어떻게 가능성 이론을 사용하여 서열적 의사결정 문제에서 불확실성과 선호도를 모두 표현할 수 있는가?
• RQ3 확률적 POMDP와 비교할 때 가능성 기반 프레임워크에서 민감도 상태를 유지하고 업데이트하는 데 있어 계산 복잡도는 어떻게 되는가?
• RQ4 부분적 관찰 조건 하에서도 정량적 모델에서 유한한 민감도 상태 공간을 달성할 수 있으며, 만약 가능하면 이를 어떻게 달성할 수 있는가?
• RQ5 의사결정 품질과 실현 가능성 측면에서 가능성 모델은 확률적 POMDP와 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 의사결정 모델은 상태 공간보다 지수적으로 큰 유한한 민감도 상태 공간을 달성하며, 이는 확률적 POMDP의 무한한 민감도 상태 문제를 해결한다.
• 정확한 확률 분포나 카디널 유용도 값이 필요하지 않기 때문에 정량적 의사결정을 수행할 수 있다.
• 계산적으로 실현 가능한 가능성 기반 민감도 상태 업데이트를 통해 서열적 의사결정을 지원한다.
• 확률적 가정이 너무 강하거나 비현실적인 환경에서는 POMDP의 실현 가능한 대안을 제공한다.
• 정량적 추론이 부분적으로 관찰 가능한 서열적 의사결정 문제에 체계적으로 적용될 수 있으며, 잘 정의된 민감도 역학을 제공한다.
• 모델는 가능성 이론에 철저히 기반하여 불확실성과 선호도를 통합된 순서형 방식으로 일관되게 다룰 수 있는 프레임워크를 제공한다.