[논문 리뷰] Policy Iteration for Factored MDPs

Daphne Koller, Ronald Parr|arXiv (Cornell University)|2013. 01. 16.

Reinforcement Learning in Robotics참고 문헌 10인용 수 151

한 줄 요약

이 논문은 구조적 동역학을 가진 큰 MDP를 효율적으로 해결할 수 있도록, 임의의 가중치에 대해 폐쇄형 최소 제곱 근사 값을 함수로 사용하는 새로운 정책 반복 알고리즘을 제안한다. 이는 정책 개선을 위한 효율적이고 정확한 방법을 가능하게 하며, 분해된 기저 함수와 변수 제거 기반 오차 한계를 활용하여 정책 표현을 압축하고 확장 가능한 MDP 해법을 제공한다.

ABSTRACT

Many large MDPs can be represented compactly using a dynamic Bayesian network. Although the structure of the value function does not retain the structure of the process, recent work has shown that value functions in factored MDPs can often be approximated well using a decomposed value function: a linear combination of <i>restricted</i> basis functions, each of which refers only to a small subset of variables. An approximate value function for a particular policy can be computed using approximate dynamic programming, but this approach (and others) can only produce an approximation relative to a distance metric which is weighted by the stationary distribution of the current policy. This type of weighted projection is ill-suited to policy improvement. We present a new approach to value determination, that uses a simple closed-form computation to directly compute a least-squares decomposed approximation to the value function <i>for any weights</i>. We then use this value determination algorithm as a subroutine in a policy iteration process. We show that, under reasonable restrictions, the policies induced by a factored value function are compactly represented, and can be manipulated efficiently in a policy iteration process. We also present a method for computing error bounds for decomposed value functions using a variable-elimination algorithm for function optimization. The complexity of all of our algorithms depends on the factorization of system dynamics and of the approximate value function.

연구 동기 및 목표

• 근사 동적 프로그래밍에서 가중 투영 방법의 한계를 해결하기 위해, 이는 요약된 MDP에서 정책 개선에 부적합하다.
• 역동성과 값 함수 표현의 구조적 인수 분해를 활용하여 대규모 MDP에서 효율적인 정책 반복을 가능하게 하기 위해.
• 현재 정책의 정적 분포에 의존하지 않는 값 함수 근사 방법을 개발하여 직접적인 정책 개선을 가능하게 하기 위해.
• 기능 최적화에서 변수 제거 기법을 사용하여 분해된 값 함수에 대한 엄밀한 오차 한계를 제공하기 위해.
• 정책 반복 과정 전반에 걸쳐 요약된 값 함수에서 유도된 정책이 압축 표현 가능하고 다룰 수 있도록 보장하기 위해.

제안 방법

• 현재 정책의 정적 분포에 의존하지 않는, 임의의 가중치에 대해 폐쇄형 최소 제곱 계산을 제안하여 값 함수 근사를 수행한다.
• 각 기저 함수가 상태 변수의 소수의 부분 집합에만 의존하는 제한된 기저 함수의 선형 조합으로서 분해된 값 함수 표현을 사용한다.
• 근사된 값 함수의 오차 한계를 계산하기 위해 변수 제거 알고리즘을 적용하여 근사 품질에 대한 이론적 보장을 확보한다.
• 값 결정 서브루틴을 정책 반복 프레임워크에 통합하여, 압축된 정책 표현을 유지하면서도 반복적인 정책 개선을 가능하게 한다.
• 계산 효율성을 유지하기 위해 MDP의 전이 및 보상 함수의 요약 표현을 사용한다.
• 기능 최적화를 통해 변수 제거를 활용하여 진짜 값 함수와 그 요약된 근사치 사이의 오차를 제한한다.

실험 결과

연구 질문

• RQ1 현재 정책의 정적 분포에 의존하지 않고도 임의의 가중치에 대해 폐쇄형으로 값 함수 근사를 계산할 수 있는가? 이는 신뢰할 수 있는 정책 개선을 지원할 수 있는가?
• RQ2 요약된 MDP는 어떻게 효율적으로 해결할 수 있으며, 정책과 값 함수 표현의 압축성을 유지할 수 있는가?
• RQ3 요약된 MDP에서 값 함수 근사와 정책 반복의 계산 복잡도는 무엇이며, 이는 인수 분해의 구조에 어떻게 의존하는가?
• RQ4 기능 최적화 기법을 사용하여 요약된 값 함수 근사의 오차 한계를 효율적으로 계산할 수 있는가?
• RQ5 정책 반복 과정에서 근사된 값 함수를 사용할 때 정책의 구조적 압축성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 현재 정책의 정적 분포에 의존하지 않고도 임의의 가중치에 대해 최소 제곱 값 함수 근사를 직접 계산할 수 있도록 한다.
• 새로운 값 결정 방법을 사용한 정책 반복은 대규모 요약된 MDP에서도 압축 표현 가능하고 효율적으로 다룰 수 있는 정책을 생성한다.
• 기능 최적화에서 변수 제거를 사용함으로써 근사된 값 함수에 대한 엄밀한 오차 한계를 도출할 수 있다.
• 모든 알고리즘의 계산 복잡도는 시스템 동역학과 값 함수 기저의 인수 분해에 따라 스케일링되며, 대규모 문제의 효율적 처리를 가능하게 한다.
• 이 방법은 요약된 값 함수가 기존의 근사 동적 프로그래밍 방법의 한계를 극복하고 정책 반복에 효과적으로 사용될 수 있음을 보여준다.
• 이 방법은 요약된 값 함수 기저로 표현 가능한 정책의 클래스 내에서 최적의 정책으로 수렴함을 보장한다.