[논문 리뷰] Inductive Policy Selection for First-Order MDPs

Sung‐Wook Yoon, Alan Fern외 1명|arXiv (Cornell University)|2012. 12. 12.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 67

한 줄 요약

이 논문은 객체 수가 다양한 도메인 간에서 일반화할 수 있도록, 일阶 마르코프 결정 과정(MDPs)을 위한 인도적 정책 선택 방법을 제안한다. PGraphplan을 통해 생성된 훈련 데이터로부터 결론 목록의 앙상블을 학습함으로써, 기존의 동적 프rogramming 기법이 다룰 수 없는 큰 크기의 확률적이고 관계형 MDPs로도 확장 가능하며, 블록 쌓기 및 물류와 같은 복잡한 도메인에서 효과적인 일반화를 보여준다.

ABSTRACT

We select policies for large Markov Decision Processes (MDPs) with compact first-order representations. We find policies that generalize well as the number of objects in the domain grows, potentially without bound. Existing dynamic-programming approaches based on flat, propositional, or first-order representations either are impractical here or do not naturally scale as the number of objects grows without bound. We implement and evaluate an alternative approach that induces first-order policies using training data constructed by solving small problem instances using PGraphplan (Blum & Langford, 1999). Our policies are represented as ensembles of decision lists, using a taxonomic concept language. This approach extends the work of Martin and Geffner (2000) to stochastic domains, ensemble learning, and a wider variety of problems. Empirically, we find "good" policies for several stochastic first-order MDPs that are beyond the scope of previous approaches. We also discuss the application of this work to the relational reinforcement-learning problem.

연구 동기 및 목표

• 객체 수가 유계가 아닌 큰 일阶 MDPs에서 전통적 동적 프로그래밍의 확장성 한계를 해결하기 위해.
• 초기 학습부터 다시 훈련하지 않고도 크기가 다른 도메인 간에 정책 일반화를 가능하게 하기 위해.
• 기존의 관계형 강화 학습 연구를 확률적 환경과 앙상블 학습으로 확장하기 위해.
• 관계적 구조를 가진 복잡한 실세계 계획 문제에 효율적으로 스케일링 가능한 방법을 개발하기 위해.
• 기존 접근 방식의 범위를 초월한 확률적이고 일阶 MDPs에서의 정책 학습을 위한 실용적 프레임워크를 제공하기 위해.

제안 방법

• 관계적 일반화를 위해 계층적 개념 언어를 사용하여 정책을 결론 목록의 앙상블로 표현한다.
• 일阶 도메인을 위한 계획 알고리즘인 PGraphplan을 사용해 작은 MDP 인스턴스를 해결함으로써 훈련 데이터를 생성한다.
• 생성된 데이터에 대해 인도적 학습을 적용하여 더 큰 문제 인스턴스에 대한 일반화 가능한 정책을 유도한다.
• 객체와 관계 간의 구조적 패턴을 포착하기 위해 일阶 표현을 활용한다.
• 정책 학습에 확률적 결과를 통합함으로써 확률적 도메인을 지원한다.
• 관계적이고 계층적인 개념 언어를 통해 압축되고 일반화 가능한 정책 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 일阶 MDPs에서 객체 수가 증가함에 따라 인도적 정책 학습이 일반화 가능한가?
• RQ2 작은 인스턴스에서 훈련된 결론 목록 앙상블이 큰 확률적이고 관계형 MDPs로 스케일링 가능한가?
• RQ3 확장성과 성능 측면에서 제안된 방법이 전통적 동적 프로그래밍보다 어떻게 비교되는가?
• RQ4 정책 표현이 예측되지 않은 도메인 크기에 얼마나 잘 일반화되는가?
• RQ5 이 방법은 복잡한 실세계의 관계형 계획 문제에 효과적으로 적용 가능한가?

주요 결과

• 기존의 동적 프로그래밍 기법이 다룰 수 없는 확률적 일阶 MDPs에 대해 '좋은' 정책을 성공적으로 학습하였다.
• 재훈련 없이도 도메인 내 객체 수가 증가함에 따라 정책이 효과적으로 일반화된다.
• 평탄하거나 문맥 독립적인 표현 방식이 실패하는 큰 도메인에서도 확장성이 입증되었다.
• 실험 결과, 블록 쌓기 및 물류 문제에서 학습된 정책이 베이스라인 방법보다 우수한 성능을 보였다.
• 결론 목록 앙상블의 사용은 압축되고 해석 가능하며 일반화 가능한 정책 표현을 가능하게 하였다.
• 이 프레임워크는 관계형 강화 학습에 적용 가능하며, 이전 연구를 확률적 환경으로 확장하였다.