[논문 리뷰] First Order Decision Diagrams for Relational MDPs

Chenggang Wang, Saket Joshi외 1명|2011. 10. 31.

Bayesian Modeling and Causal Inference참고 문헌 33인용 수 7

한 줄 요약

이 논문은 객체 구조화된 도메인에서의 함수를 위한 압축형, 관계형 표현인 일阶 결정 다이어그램(FODDs)을 도입한다. 이는 지도 없는 상태 전이를 통해 관계형 MDP에서 효율적인 값 반복을 가능하게 하며, 도메인 크기의 일반화를 지원하고 최적의 추상 정책으로 수렴함을 증명한다.

ABSTRACT

Markov decision processes capture sequential decision making under uncertainty, where an agent must choose actions so as to optimize long term reward. The paper studies efficient reasoning mechanisms for Relational Markov Decision Processes (RMDP) where world states have an internal relational structure that can be naturally described in terms of objects and relations among them. Two contributions are presented. First, the paper develops First Order Decision Diagrams (FODD), a new compact representation for functions over relational structures, together with a set of operators to combine FODDs, and novel reduction techniques to keep the representation small. Second, the paper shows how FODDs can be used to develop solutions for RMDPs, where reasoning is performed at the abstract level and the resulting optimal policy is independent of domain size (number of objects) or instantiation. In particular, a variant of the value iteration algorithm is developed by using special operations over FODDs, and the algorithm is shown to converge to the optimal policy.

연구 동기 및 목표

• 관계 구조가 있는 큰 또는 무한 도메인에서 발생하는 추론 확장성의 한계를 해결한다.
• 관계 도메인에서의 값 함수와 정책를 위한 압축형, 일반 목적의 표현 방식을 개발한다.
• 지상화 없이 결정 이론적 계획 수립을 가능하게 하여, 추론과 해법이 도메인 크기와 독립적이게 한다.
• FODD에 직접 작용하는 값 반복 알고리즘을 설계하여 관계형 MDP에서 최적 정책을 계산한다.
• 추상 추론 하에 FODD 기반 값 반복의 이론적 수렴 보장을 제공한다.

제안 방법

• 일阶 논리 구조로 일반화된 대수적 결정 다이어그램(ADDs)의 일반화로 일阶 결정 다이어그램(FODDs)을 제안한다.
• 행동 적용, 값 집계, 정책 최대화를 위한 연산자 집합을 정의한다.
• 의미 동치성을 유지하면서 FODD 크기를 최소화하는 새로운 축소 기법을 도입한다.
• 상태 열거 없이 FODD 연산을 사용하여 값 함수를 계산하는 관계형 값 반복 알고리즘을 개발한다.
• FODD 기반 표현을 통해 확률적 행동 효과와 보상에 대한 지원을 제공하여 전이 및 보상 함수의 압축 모델링을 가능하게 한다.
• 상태 분할 간의 공유 구조를 활용하여 표현을 압축하고 공간 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 결정 다이어그램 표현을 문맥적 도메인에서 일阶 도메인으로 일반화할 수 있는가? 이는 확장 가능한 MDP 추론을 지원하기 위해 필요하다.
• RQ2 지상화를 피하면서 관계형 MDP에서 효율적인 값 반복을 지원할 수 있도록 FODDs를 어떻게 설계할 수 있는가?
• RQ3 반복적 값 함수 업데이트 과정에서 FODD 크기를 작게 유지하기 위해 필요한 축소 및 정규화 연산은 무엇인가?
• RQ4 FODD 기반 값 반복이 모든 도메인 인스턴스, 포함 무한한 경우에도 최적의 추상 정책으로 수렴할 수 있는가?
• RQ5 모델링의 유연성과 계산 효율성 측면에서 기존 접근 방식인 ReBel과 SDP에 비해 FODDs의 표현력은 어떻게 비교되는가?

주요 결과

• FODDs는 관계형 MDP에서 값 함수와 정책를 위한 압축형, 일반 목적의 표현을 제공하여 도메인 크기와 무관한 추론을 가능하게 한다.
• FODD 기반 값 반복 알고리즘이 최적의 추상 값 함수로 수렴함을 증명한다.
• 이 방법은 객체 최대화와 상태 분할 간의 공유 구조를 지원하여 지도 없는 지상화 대비 공간 및 시간 절약을 이룬다.
• FODDs는 확률적 STRIPS 스타일 행동과 보상 함수를 표현할 수 있어 도메인 역학의 민첩한 모델링을 가능하게 한다.
• 이 방법은 일반화를 가능하게 하며, 단일 정책이 FODDs를 통해 유도되면 모든 도메인 인스턴스, 포함 무한한 경우에도 최적임을 보장한다.
• 유사한 값을 가진 叶들을 융합함으로써 근사가 가능하여 정확도와 FODD 크기 사이의 트레이드오프를 허용한다.