[논문 리뷰] Approximate Linear Programming for First-order MDPs

Scott Sanner, Craig Boutilier|arXiv (Cornell University)|2012. 07. 04.

Elevator Systems and Control참고 문헌 13인용 수 10

한 줄 요약

이 논문은 일阶 기저 함수를 사용하여 값 함수를 선형적으로 표현하고, 결과로 생기는 최적화 문제를 상용 정리 증명기와 선형 프로그래밍(solvers)를 통해 해결하는 근사 선형 프로그래밍(알프) 방법을 제안한다. 이 방법은 모든 인스턴스에 대해 증명 가능한 근사 오차 한계를 보장하며, 복잡한 다기준 엘리베이터 스케줄링 작업에서 히우리스틱 정책보다 뛰어난 성능을 보인다.

ABSTRACT

We introduce a new approximate solution technique for first-order Markov decision processes (FOMDPs). Representing the value function linearly w.r.t. a set of first-order basis functions, we compute suitable weights by casting the corresponding optimization as a first-order linear program and show how off-the-shelf theorem prover and LP software can be effectively used. This technique allows one to solve FOMDPs independent of a specific domain instantiation; furthermore, it allows one to determine bounds on approximation error that apply equally to all domain instantiations. We apply this solution technique to the task of elevator scheduling with a rich feature space and multi-criteria additive reward, and demonstrate that it outperforms a number of intuitive, heuristicallyguided policies.

연구 동기 및 목표

• rich한 관계적 구조를 가진 대규모이고 복잡한 MDP를 해결하는 데 도전하는 데, 도메인 독립적 정책 학습을 가능하게 하기 위해.
• 도메인 인스턴스에 대한 명시적 그라운딩을 피하는 일阶 MDP를 위한 확장 가능한 해결 기법을 개발하기 위해.
• 모든 도메인 인스턴스에 동일하게 적용 가능한 근사 오차에 대한 증명 가능한 경계를 제공하기 위해.
• 복잡한 특징 공간을 가진 실제 세계의 다기준 스케줄링 문제에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 값 함수를 일阶 기저 함수의 선형 조합으로 표현하여, 압축되고 관계적인 표현을 가능하게 한다.
• 기저 함수의 가중치 벡터에 대해 근사 선형 프로그래밍 문제를 설정하며, 그라운딩을 피하기 위해 일阶 표현을 사용한다.
• 벨만 방정식에서 유도된 제약 조건의 타당성을 효율적으로 검증하기 위해 상용 일阶 정리 증명기를 활용한다.
• 표준 선형 프로그래밍 솔버를 통합하여 기저 함수의 최적 가중치를 계산한다.
• 재해결 없이도 FOMDP의 어떤 인스턴스에서도 결정을 내리기 위해 결과 정책을 사용한다.
• LP 설정을 통해 모든 도메인 인스턴스에 대해 동일하게 적용 가능한 근사 오차 경계를 유도한다.

실험 결과

연구 질문

• RQ1 근사 선형 프로그래밍이 도메인 인스턴스에 대한 그라운딩을 피하기 위해 일阶 MDP에 효과적으로 적응될 수 있는가?
• RQ2 일阶 정리 증명기가 FOMDP의 ALP 설정에서 제약 조건을 효율적으로 생성하고 검증하는 데 사용될 수 있는가?
• RQ3 제안된 방법이 모든 도메인 인스턴스에 대해 유효한 근사 오차 경계를 제공하는가?
• RQ4 ALP 기반 정책의 성능은 복잡한 실제 세계 스케줄링 작업에서 히우리스틱 정책보다 뛰어나게 되는가?

주요 결과

• 제안된 ALP 방법은 그라운딩 없이도 FOMDP를 성공적으로 해결하여 모든 도메인 인스턴스에서 효율적인 정책 학습을 가능하게 한다.
• 이 방법은 FOMDP의 모든 가능한 인스턴스에 적용 가능한 균일한 근사 오차 경계를 제공한다.
• 풍부한 특징 공간과 다기준 보상 구조를 가진 엘리베이터 스케줄링 도메인에서, ALP 기반 정책은 여러 히우리스틱 정책을 능가한다.
• 일阶 정리 증명기와 LP 솔버의 통합은 확장 가능하고 정확한 제약 조건 생성 및 최적화를 가능하게 하였다.