[논문 리뷰] A Framework for Decision-Theoretic Planning I: Combining the Situation Calculus, Conditional Plans, Probability and Utility

David Poole|arXiv (Cornell University)|2013. 02. 13.

Logic, Reasoning, and Knowledge참고 문헌 27인용 수 11

한 줄 요약

이 논문은 논리적 행동 표현, 조건부 계획, 확률, 효용을 통합하여 상황계산법과 결정론적 계획을 융합한 통합 프레임워크를 제시한다. 불확실성을 모델링하고 기대 효용을 계산하기 위해 확률적 프레임 공리와 독립 선택 논리를 사용하며, 이는 확률적 STRIPS에 비해 지수적 공간 효율성을 확보한 불확실성 하에서의 최적 계획을 가능하게 한다.

ABSTRACT

This paper shows how we can combine logical representations of actions and decision theory in such a manner that seems natural for both. In particular we assume an axiomatization of the domain in terms of situation calculus, using what is essentially Reiter's solution to the frame problem, in terms of the completion of the axioms defining the state change. Uncertainty is handled in terms of the independent choice logic, which allows for independent choices and a logic program that gives the consequences of the choices. As part of the consequences are a specification of the utility of (final) states. The robot adopts robot plans, similar to the GOLOG programming language. Within this logic, we can define the expected utility of a conditional plan, based on the axiomatization of the actions, the uncertainty and the utility. The ?planning' problem is to find the plan with the highest expected utility. This is related to recent structured representations for POMDPs; here we use stochastic situation calculus rules to specify the state transition function and the reward/value function. Finally we show that with stochastic frame axioms, actions representations in probabilistic STRIPS are exponentially larger than using the representation proposed here.

연구 동기 및 목표

• 불확실성 하에서의 계획을 위한 논리적 행동 표현(상황계산법)과 결정 이론을 통합하는 것.
• 독립 선택 논리를 및 확률적 프레임 공리를 사용하여 불확실성을 모델링하고, 확률적 상태 전이를 가능하게 하는 것.
• 최적의 계획을 위해 논리적 프레임워크 내에서 조건부 계획의 기대 효용을 정의하는 것.
• 제안된 표현 방식이 확률적 STRIPS에 비해 지수적으로 더 압축된 표현을 제공함을 보여주는 것.
• 논리적 및 확률적 추론을 기반으로 한 결정론적 계획의 형식적 기반을 제공하는 것.

제안 방법

• 상황계산법에서 행동 공리의 완성에 의한 Reiter의 프레임 문제 해결 방법을 사용한다.
• 독립 선택 논리를 사용하여 확률적 선택과 그 결과를 모델링한다.
• 스토케스틱 상황계산법 규칙을 사용하여 상태 전이 함수와 보상/가치 함수를 정의한다.
• GOLOG에 유사한 로봇 프로그램 형태로 계획을 표현하여 조건부 실행을 지원한다.
• 행동 공리, 불확실성, 효용 함수에 기반하여 계획의 기대 효용을 계산한다.
• 논리적 추론을 사용하여 기대 효용이 최대인 계획을 결정한다.

실험 결과

연구 질문

• RQ1 어떻게 상황계산법의 논리적 행동 표현을 결정론적 계획을 지원하도록 확장할 수 있는가?
• RQ2 논리적 프레임워크 내에서 확률적 상태 전이와 보상을 가장 압축적이고 자연스럽게 표현하는 방법은 무엇인가?
• RQ3 논리적 및 확률적 시스템 내에서 조건부 계획의 기대 효용을 평가하는 방법은 무엇인가?
• RQ4 기존의 접근 방식인 확률적 STRIPS에 비해 이 프레임워크의 표현 및 계산적 이점은 무엇인가?
• RQ5 통합된 논리 기반 시스템이 행동, 불확실성, 효용을 효과적으로 통합하여 최적의 계획을 수행할 수 있는가?

주요 결과

• 논리적 공리와 확률적 선택을 사용하여 조건부 계획의 기대 효용을 정의할 수 있다.
• 스토케스틱 프레임 공리를 사용함으로써 확률적 STRIPS에 비해 상태 전이의 표현이 더 압축됨을 확인할 수 있다.
• 제안된 방법은 확률적 STRIPS 표현에 비해 지수적 공간 절감을 달성한다.
• 상황계산법에 효용을 통합함으로써 기대 효용 최대화를 통한 최적의 계획이 가능해진다.
• 확률적 일관성을 유지하면서도 계획에 대한 구조적이고 논리적인 추론을 지원한다.
• 프레임워크는 독립 선택 논리에 엄밀히 기반하며, 결정론적 계획을 위한 상황계산법의 자연스러운 확장이다.