[논문 리뷰] Practical Linear Value-approximation Techniques for First-order MDPs

Scott Sanner, Craig Boutilier|arXiv (Cornell University)|2012. 06. 27.

Reinforcement Learning in Robotics참고 문헌 20인용 수 32

한 줄 요약

이 논문은 근사 선형 프ogramming(ALP)을 정책 반복에 대응하도록 확장하고, 자동으로 기저 함수를 생성하며, 전칭 기댓값 문제를 분해하는 방식으로 일阶 MDP(FOMDP)에 대한 실용적인 선형 가치 근사 기법을 제안한다. 도메인 독립적인 학습과 새로운 최적화 기법을 통해 ICAPS 2004 물류 계획 문제에서 가치 함수 품질과 확장성을 향상시킨다.

ABSTRACT

Recent work on approximate linear programming (ALP) techniques for first-order Markov Decision Processes (FOMDPs) represents the value function linearly w.r.t. a set of first-order basis functions and uses linear programming techniques to determine suitable weights. This approach offers the advantage that it does not require simplification of the first-order value function, and allows one to solve FOMDPs independent of a specific domain instantiation. In this paper, we address several questions to enhance the applicability of this work: (1) Can we extend the first-order ALP framework to approximate policy iteration to address performance deficiencies of previous approaches? (2) Can we automatically generate basis functions and evaluate their impact on value function quality? (3) How can we decompose intractable problems with universally quantified rewards into tractable subproblems? We propose answers to these questions along with a number of novel optimizations and provide a comparative empirical evaluation on logistics problems from the ICAPS 2004 Probabilistic Planning Competition.

연구 동기 및 목표

• 더 나은 가치 함수 근사 품질을 위해 이전의 일阶 ALP 접근법의 성능 한계를 해결하기 위해 정책 반복을 통합한다.
• FOMDP에서 수동적 특징 공학에 의존도를 줄이기 위해 자동 기저 함수 생성 기법을 개발한다.
• 전칭 기댓값을 가진 비가역적인 FOMDP를 문제 분해를 통해 해석 가능한 부분문제로 나누어 효율적으로 해결할 수 있도록 한다.
• 도메인 특화 단순화 없이도 일阶 MDP의 확장성과 해법 품질을 향상시킨다.
• 재학습 없이도 다양한 FOMDP 사례 적용에 일반적으로 사용 가능한 프레임워크를 제공한다.

제안 방법

• 정책 개선 단계를 통합하기 위해 LP 최적화를 재구성함으로써 일阶 ALP를 가치 반복과 정책 반복을 지원하도록 확장한다.
• 일阶 논리적 구조와 보상 술어를 기반으로 한 기저 함수 생성 방법을 도입하여 관련 특징을 자동으로 유도한다.
• 논리적 추상화를 사용하여 해석 가능한 부분문제로 나누어 전칭 기댓값 문제를 다루기 위한 분해 전략을 적용한다.
• 선형 프로그래밍을 사용하여 상태 공간 전역에서 벨먼 오차를 최소화하는 선형 가치 함수 근사의 최적 가중치를 구한다.
• 일阶 표현력을 유지하면서도 논리적 기반화와 가치 함수 근사를 통합한 유일한 프레임워크를 구축한다.
• 도메인 독립적 특징 템플릿과 논리 패턴 매칭을 활용하여 큰 FOMDP에 대해 기저 함수 생성을 확장한다.

실험 결과

연구 질문

• RQ1 일阶 ALP 프레임워크를 정책 반복을 지원하도록 확장할 수 있을까? 이는 가치 함수 근사 품질 향상에 기여하는가?
• RQ2 일阶 논리 표현으로부터 기저 함수를 자동으로 생성할 수 있으며, 이는 해법 품질에 어떤 영향을 미치는가?
• RQ3 전칭 기댓값을 가진 비가역적인 FOMDP는 어떻게 해석 가능한 부분문제로 분해하여 효율적으로 해결할 수 있는가?
• RQ4 자동 기저 함수 생성은 수렴 속도와 가치 함수 정확도에 어떤 영향을 미치는가?
• RQ5 실제 물류 계획 문제에서 기존 접근법과 비교해 본다면, 제안된 방법은 확장성과 성능 측면에서 어떻게 다른가?

주요 결과

• 일阶 ALP 프레임워크에 정책 반복을 통합함으로써 가치 함수 근사 품질이 가치 반복만을 사용한 경우보다 뚜렷이 향상된다.
• 논리적 구조를 기반으로 자동 생성된 기저 함수는 수동으로 제작하거나 무작위로 선택한 기저 함수보다 가치 함수 정확도와 수렴 속도 측면에서 뛰어나다.
• 논리적 추상화를 통한 문제 분해 기법은 이전에는 직접 해결이 불가능했던 전칭 기댓값을 가진 FOMDP의 해석 가능한 해결을 가능하게 한다.
• 제안된 방법은 ICAPS 2004 물류 계획 문제에서 경쟁적인 성능을 달성하여 다양한 도메인 사례에 걸쳐 확장성과 강건성을 입증한다.
• 이 프레임워크는 특정 도메인 사례에 종속되지 않고 FOMDP를 해결할 수 있으며, 일阶 표현력을 유지하면서도 고품질의 정책을 도출한다.
• 실험적 평가 결과, 자동 기저 함수 생성과 분해 전략의 조합은 기준 ALP 방법에 비해 더 빠른 수렴과 낮은 벨먼 오차를 달성한다.