[논문 리뷰] Linear Programming for Large-Scale Markov Decision Problems

Yasin Abbasi-Yadkori, Peter L. Bartlett외 1명|arXiv (Cornell University)|2014. 02. 27.

Reinforcement Learning in Robotics참고 문헌 30인용 수 30

한 줄 요약

이 논문은 상태-행동 쌍에 대한 정적 분포를 기반으로 평균 비용 문제를 재구성함으로써 대규모 마르코프 결정 과정(MDP)에 대해 계산적으로 효율적인 선형 프로그래밍 접근법을 제안한다. 두 가지 알고리즘—스토케스틱 서브그래디언트 최적화와 제약 조건 샘플링—을 도입하여 저차원 비교 클래스 내 최고 정책과 경쟁 가능한 성능을 달성하며, 오차 한계는 상태 공간 크기와 무관하고 비교 클래스의 크기만에 의존한다.

ABSTRACT

We consider the problem of controlling a Markov decision process (MDP) with a large state space, so as to minimize average cost. Since it is intractable to compete with the optimal policy for large scale problems, we pursue the more modest goal of competing with a low-dimensional family of policies. We use the dual linear programming formulation of the MDP average cost problem, in which the variable is a stationary distribution over state-action pairs, and we consider a neighborhood of a low-dimensional subset of the set of stationary distributions (defined in terms of state-action features) as the comparison class. We propose two techniques, one based on stochastic convex optimization, and one based on constraint sampling. In both cases, we give bounds that show that the performance of our algorithms approaches the best achievable by any policy in the comparison class. Most importantly, these results depend on the size of the comparison class, but not on the size of the state space. Preliminary experiments show the effectiveness of the proposed algorithms in a queuing application.

연구 동기 및 목표

• 대규모 상태 공간을 가진 마르코프 결정 과정(MDP)에서 정확한 동적 프로그래밍의 비가능성 문제를 해결하기 위해.
• 최적 정책이 아닌 저차원 정책 가족 내 최고 정책과 경쟁 가능한 확장 가능한 알고리즘을 개발하기 위해.
• 계산 복잡도와 오차 한계에서 상태 공간 크기에 의존하지 않도록 하기 위해.
• 새로운 증명 기법을 사용하여 비교 클래스에 대한 성능에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 변수로 상태-행동 쌍에 대한 정적 분포를 사용하는 이중 선형 프로그래밍을 통해 평균 비용 MDP 문제를 재구성한다.
• 비교 클래스를 상태-행동 특성으로 매개변수화된 저차원 정적 분포 부분집합의 이웃으로 정의한다.
• 제약 위반에 대한 페널티를 부여하는 서rogate 손실 함수를 최소화함으로써 근사 선형 프로그래밍을 해결하기 위한 스토케스틱 서브그래디언트 방법을 제안한다.
• 계산 비용을 줄이기 위해 단순체와 정착성 제약 조건을 무작위로 샘플링하는 제약 조건 샘플링 기법을 도입한다.
• 상한과 하한 제약 조건을 포함한 정규화 항을 사용하여 유한하고 타당한 해를 보장한다.
• 제약 위반과 평균 비용을 통합한 서rogate 손실 함수를 사용하여 최적화를 이끌어낸다.

실험 결과

연구 질문

• RQ1 저차원 정책 클래스 내 최고 정책과 경쟁 가능한 성능을 달성하는 확장 가능한 알고리즘을 설계할 수 있는가?
• RQ2 오차 한계를 상태 공간 크기와 무관하게 비교 클래스의 크기만에 의존하도록 보장할 수 있는가?
• RQ3 알고리즘 설계 시 최적 정책의 지식이나 그 분포에서의 샘플링을 요구하지 않도록 할 수 있는가?
• RQ4 제약 조건 샘플링은 대규모 MDP에서 전체 LP 해법에 대한 실용적이고 이론적으로 타당한 대안이 될 수 있는가?

주요 결과

• 스토케스틱 서브그래디언트 방법은 비교 클래스 내 최고 정책과 경쟁 가능한 평균 손실 성능을 달성하며, 오차 한계는 상태 공간 크기와 무관하다.
• 제약 조건 샘플링 알고리즘은 약 1%의 제약 조건을 샘플링했을 때 기준 히우리스틱(LONGER 및 LBFS)보다 평균 손실에서 1% 향상된 성능을 보였다.
• 제약 조건 샘플링의 최적 샘플 크기는 약 4,684개의 단순체 제약 조건(총 수의 약 1%)이었으며, 이보다 작거나 큰 샘플 크기에서는 성능이 떨어졌다.
• 샘플 크기가 증가할수록 무작위 제약 조건 샘플링에 대한 민감도가 증가함에 따라 정책 성능의 분산이 증가했다. 특히 단순체 및 정착성 제약 조건이 점점 더 활성화될수록 그러한 경향이 두드러졌다.
• 이전의 ALP 방법들과 동일한 설정에서 작동함에도 불구하고, 이 알고리즘은 다른 근사 공간(값 함수가 아닌 정적 분포)을 사용함에도 불구하고 기존 방법들을 능가하는 성능을 보였다.
• 실증 결과에 의해 확인된 바와 같이, 서rogate 손실 최소화가 평균 손실을 효과적으로 감소시키며, 기준 히우리스틱보다 더 낮은 손실 수준으로 수렴하는 경향을 보였다.