[논문 리뷰] Large-Scale Markov Decision Problems via the Linear Programming Dual

Yasin Abbasi-Yadkori, Peter L. Bartlett외 2명|arXiv (Cornell University)|2019. 01. 06.

Reinforcement Learning in Robotics참고 문헌 27인용 수 7

한 줄 요약

이 논문은 선형계획법 공식화의 이중 문제를 통해 근사 점유도 측정값에서 유도된 저차원 정책 가족 위에서 최적화하는 새로운 방법을 제안한다. 이는 대규모 마르코프 결정 과정(MDPs)을 해결하기 위한 것으로, 상태 공간의 크기와 관계없이 하위공간 차원에 따라 스케일링되는 효율적인 확률적 하향기울기 알고리즘을 도입하여 평균 및 할인 비용 설정 모두에서 증명 가능한 초과 손실 경계를 달성한다. 실험적으로는 대기열 네트워크 응용 분야에서 검증되었다.

ABSTRACT

We consider the problem of controlling a fully specified Markov decision process (MDP), also known as the planning problem, when the state space is very large and calculating the optimal policy is intractable. Instead, we pursue the more modest goal of optimizing over some small family of policies. Specifically, we show that the family of policies associated with a low-dimensional approximation of occupancy measures yields a tractable optimization. Moreover, we propose an efficient algorithm, scaling with the size of the subspace but not the state space, that is able to find a policy with low excess loss relative to the best policy in this class. To the best of our knowledge, such results did not exist in the literature previously. We bound excess loss in the average cost and discounted cost cases, which are treated separately. Preliminary experiments show the effectiveness of the proposed algorithms in a queueing application.

연구 동기 및 목표

• 기본 동적계획법이나 선형계획법 방법으로는 상태 공간이 너무 크기 때문에 해결이 불가능한 대규모 MDPs 문제를 해결하기 위해.
• 전체 상태 공간의 크기 대신 저차원 정책 클래스에 따라 스케일링되는 실용적인 최적화 프레임워크를 개발하기 위해.
• 평균 비용 및 할인 비용 MDPs 모두에서 파arametric 클래스 내 최고 정책에 대한 이론적 초과 손실 경계를 제공하기 위해.
• 이전의 근사 선형계획법(ALP) 방법들과 달리 최적 정책의 분포에서의 샘플에 의존하지 않는 알고리즘을 설계하기 위해.
• 372개의 특징(원래 상태 공간 대비 10,000배 감소)을 가진 대기열 네트워크에서의 실험을 통해 실용적 효과성을 입증하기 위해.

제안 방법

• 특징 행렬 Φ를 통해 점유도 측정값과 그의 저차원 근사를 고려하여, 선형계획법의 이중 문제를 활용해 MDP 계획 문제를 공식화한다.
• 이중 공간에서 선형 함수를 통해 정책를 매개변수화함으로써, 저차원 정책 부분공간 위에서의 최적화를 가능하게 한다.
• 이중 LP의 목적함수와 제약 위반의 조합으로 구성된 서브스러스트 손실 함수를 최소화하기 위해 확률적 하향기울기 강하를 사용한다.
• 제약 조건을 실시간으로 샘플링하는 랜덤화 알고리즘을 도입하여, 상태 공간의 크기와 관계없이 하위공간 차원에 따라 스케일링되도록 보장한다.
• 이중 LP의 구조를 활용해, 새로운 증명 기법을 사용하여 평균 비용 및 할인 비용 설정 모두에서 초과 손실 경계를 유도한다.
• 모든 주어진 상태로 이어지는 상태에 접근할 수 있도록 뒤로 시뮬레이터를 통합함으로써, 제약 조건 샘플링과 정책 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 저차원 정책 클래스 위에서 최적화할 때, 대규모 MDPs에 대해 증명 가능한 초과 손실 경계를 달성할 수 있는가?
• RQ2 전체 상태 공간 크기 대신 하위공간 차원에 따라 스케일링되는 알고리즘을 MDP 계획에서 설계할 수 있는가?
• RQ3 이중 LP 공식화를 통해 평균 비용 및 할인 비용 MDP 설정 모두에서 이론적 성능 보장을 유도할 수 있는가?
• RQ4 이전의 ALP 방법들과 마찬가지로 최적 정책의 분포에서의 샘플에 의존하지 않으면서도 수렴성과 오차 경계를 유지할 수 있는가?
• RQ5 실제 응용 분야인 대기열 네트워크와 같은 실세계 응용에서, 제안된 방법이 히우리스틱 정책에 비해 실제로 얼마나 효과적인가?

주요 결과

• 제안된 알고리즘은 평균 비용 및 할인 비용 MDPs 모두에서 파arametric 클래스 내 최고 정책에 대한 초과 손실 경계를 달성하며, 이 경계는 새로운 증명 기법을 통해 도출되었다.
• 이 방법은 상태 공간의 크기 대신 정책 부분공간의 차원에 따라 스케일링되며, 이는 대규모 문제에서 효율적인 계산을 가능하게 한다.
• 372개의 특징(원래 상태 공간 대비 10^4 배 감소)을 가진 대기열 네트워크에서, 알고리즘이 평균 손실 측면에서 두 가지 일반적인 히우리스틱(LONGER 및 LBFS)을 능가했다.
• 확률적 하향기울기 강하 알고리즘이 서브스러스트 손실을 성공적으로 최소화하여, 그림 5의 오른쪽 플롯에서와 같이 더 낮은 평균 손실을 기록했다.
• 이전의 ALP 방법들과는 달리, 이 방법은 가치 함수가 아니라 정적 분포를 다루기 때문에 근본적으로 다른 접근법을 취하며, 이로 인해 새로운 이론적 및 알고리즘적 발전이 가능해졌다.
• 실험 결과는 서브스러스트 손실 함수를 최소화할수록 실제 평균 손실이 낮아지는 정책이 도출됨을 확인하여 이론적 프레임워크의 타당성을 검증했다.