[논문 리뷰] Partitioned Linear Programming Approximations for MDPs

Branislav Kveton, Miloš Hauskrecht|arXiv (Cornell University)|2012. 06. 13.

Reinforcement Learning in Robotics참고 문헌 21인용 수 3

한 줄 요약

이 논문은 큰 인자 분해 마르코프 결정 과정(MDP)의 해를 근사하기 위해 분할된 선형 프로그래밍(LP) 접근법을 소개한다. 이 방법은 제약 조건 공간을 저차원 부분공간으로 분해하여, 트리너비에 대한 지수적 의존도 없이 효율적인 LP 해법을 가능하게 한다. 이는 2^100개 이상의 상태를 가진 MDP의 스케일러블한 해법을 달성하며, 기존의 근사 선형 프로그래밍에 비해 이론적이고 실용적인 이점이 있다.

ABSTRACT

Approximate linear programming (ALP) is an efficient approach to solving large factored Markov decision processes (MDPs). The main idea of the method is to approximate the optimal value function by a set of basis functions and optimize their weights by linear programming (LP). This paper proposes a new ALP approximation. Comparing to the standard ALP formulation, we decompose the constraint space into a set of low-dimensional spaces. This structure allows for solving the new LP efficiently. In particular, the constraints of the LP can be satisfied in a compact form without an exponential dependence on the treewidth of ALP constraints. We study both practical and theoretical aspects of the proposed approach. Moreover, we demonstrate its scale-up potential on an MDP with more than 2^100 states.

연구 동기 및 목표

• 기본적인 근사 선형 프로그래밍(ALP)을 사용할 때 큰 인자 분해 MDP를 해결하는 데 발생하는 계산 비가역성 문제를 해결하기 위해.
• 제약 조건 공간을 재구성하여 ALP의 트리너비에 대한 지수적 의존도를 줄이기 위해.
• 해결 품질을 유지하면서도 효율적인 계산을 가능하게 하는 스케일러블한 LP 설정을 개발하기 위해.
• 2^100개 이상의 상태를 가진 상태 공간을 갖는 MDP에 대해 이 방법의 효과성을 입증하기 위해.

제안 방법

• 기존 ALP의 제약 조건 공간을 다수의 저차원 부분공간으로 나누어 최적화 문제를 단순화한다.
• 각 부분공간은 상태 공간의 국소적 영역에 대응하며, 국소적 제약 조건 이행을 가능하게 한다.
• 전체 LP는 압축되고 분해된 형태로 재구성되어 전체 열거를 피함으로써 제약 조건을 강제한다.
• 이 방법은 인자 분해 MDP의 구조를 활용하여 LP 내 제약 조건과 변수의 수를 줄인다.
• 기저 함수를 사용해 가치 함수를 근사하고, 가중치는 분할된 LP 설정을 통해 최적화된다.
• 이 분해는 트리너비에 대한 지수적 계산이 필요 없이도 해가 타당하고 근사 최적임을 보장한다.

실험 결과

연구 질문

• RQ1 큰 MDP에서 ALP의 제약 조건 공간을 분해하여 트리너비에 대한 지수적 복잡도를 피할 수 있는가?
• RQ2 2^100개 이상의 상태를 가진 MDP에 대해 LP 기반 가치 함수 근사가 어떻게 스케일러블하게 구현될 수 있는가?
• RQ3 제약 조건을 분할함으로써 해의 품질은 유지되면서 계산 효율성이 향상되는가?
• RQ4 기본 ALP와 비교해 볼 때 분할된 LP 접근법의 이론적 및 실증적 성능은 어떠한가?

주요 결과

• 제안된 분할된 LP 설정은 기존 ALP에서 관찰되는 트리너비에 대한 지수적 의존도를 제거하여 대규모 MDP의 스케일러블한 해법을 가능하게 한다.
• 이 방법은 2^100개 이상의 상태를 가진 MDP를 성공적으로 해결하여 극도로 큰 스케일업 잠재력을 입증한다.
• 분해 덕분에 전체 열거 없이도 효율적인 제약 조건 처리가 가능해져 계산 복잡도가 감소한다.
• 이 방법은 계산 시간과 메모리 효율성을 크게 향상시키면서도 기존 ALP와 유사한 해의 품질을 유지한다.
• 실증 결과는 분할된 LP 설정이 상당히 감소된 계산 비용으로 근사 최적 정책을 달성함을 확인한다.
• 이론적 분석은 표준 MDP 가정 하에서 새로운 설정의 타당성과 수렴 성질을 지지한다.