[논문 리뷰] Efficiently Solving MDPs with Stochastic Mirror Descent

Yujia Jin, Aaron Sidford|arXiv (Cornell University)|2020. 08. 28.

Markov Chains and Monte Carlo Methods인용 수 20

한 줄 요약

이 논문은 유한한 시간 평균 보상 MDP와 할인 보상 MDP를 효율적으로 해결하기 위해 통합된 원-쌍대 스토하스틱 미러 강하 프레임워크를 제안한다. 평균 보상 MDP의 경우, 비에르고디시티 가정 없이 $\widetilde{O}(t_{\mathrm{mix}}^2 \mathrm{A_{tot}} \epsilon^{-2})$의 샘플 복잡도를 달성하며, 할인 보상 MDP의 경우 $\widetilde{O}((1-\gamma)^{-4} \mathrm{A_{tot}} \epsilon^{-2})$의 샘플 복잡도를 달성하여 기존 최상의 결과에 비해 로그 인자 수준에서 동일하거나 이를 초월한다.

ABSTRACT

We present a unified framework based on primal-dual stochastic mirror descent for approximately solving infinite-horizon Markov decision processes (MDPs) given a generative model. When applied to an average-reward MDP with $A_{tot}$ total state-action pairs and mixing time bound $t_{mix}$ our method computes an $ε$-optimal policy with an expected $\widetilde{O}(t_{mix}^2 A_{tot} ε^{-2})$ samples from the state-transition matrix, removing the ergodicity dependence of prior art. When applied to a $γ$-discounted MDP with $A_{tot}$ total state-action pairs our method computes an $ε$-optimal policy with an expected $\widetilde{O}((1-γ)^{-4} A_{tot} ε^{-2})$ samples, matching the previous state-of-the-art up to a $(1-γ)^{-1}$ factor. Both methods are model-free, update state values and policies simultaneously, and run in time linear in the number of samples taken. We achieve these results through a more general stochastic mirror descent framework for solving bilinear saddle-point problems with simplex and box domains and we demonstrate the flexibility of this framework by providing further applications to constrained MDPs.

연구 동기 및 목표

• 유한한 수명의 MDP를 해결하기 위한 일반적이고 모델-프리 프레임워크를 개발하기 위해.
• 이전 방법이 평균 보상 MDP에서 제한을 받는 비에르고디시티 가정을 제거하기 위해.
• 평균 보상 및 할인 보상 MDP 모두에서 기존 최상의 결과에 맞추거나 이를 향상시키는 샘플 복잡도를 달성하기 위해.
• 제약 조건이 있는 MDP에 확장하여 프레임워크의 유연성을 입증하기 위해.
• 스토하스틱 미러 강하를 통해 MDP를 공통된 최적화 시각으로 통합적으로 다루기 위해.

제안 방법

• 단순체 및 상자 영역 위에서의 이중선형 최적화 문제로 평균 보상 및 할인 보상 MDP를 수식화한다.
• 이러한 영역에 특화된 새로운 스토하스틱 미러 강하(SMD) 프레임워크를 적용하여, 샘플당 선형 시간 내에 업데이트를 효율적으로 수행할 수 있도록 한다.
• 유한한 샘플에서의 전이 및 보상 행렬에 대한 비편향 추정기를 사용하여 온라인 학습을 가능하게 한다.
• 근사된 이중 해를 $\epsilon$-최적 정책으로 매핑하는 라운딩 절차를 활용한다.
• 일반화된 SMD 프레임워크를 도입하여 $\ell_{\infty}$ 회귀 및 제약 조건 최적화를 특수 케이스로 지원한다.
• 혼합 시간 경계와 행렬 노름 농도를 활용하여 이중 변수에서의 오차 전파를 제어한다.

실험 결과

연구 질문

• RQ1 단일 스토하스틱 미러 강하 프레임워크가 평균 보상 및 할인 보상 MDP 모두에서 최적의 샘플 복잡도를 달성할 수 있는가?
• RQ2 비에르고디시티 가정 없이 평균 보상 MDP에서 혼합 시간 $t_{\mathrm{mix}}$에 대해 최소한의 의존성은 무엇인가?
• RQ3 이 프레임워크는 제약 조건이 있는 MDP를 다룰 수 있으며, 보장된 성능을 제공할 수 있는가?
• RQ4 SMD 기반 MDP 솔버의 샘플 복잡도는 밸류 이터레이션 및 Q-러닝 방법과 비교해 어떻게 되는가?
• RQ5 일반적인 MDP에서 $t_{\mathrm{mix}}$와 $\gamma$ 이외의 문제 매개변수는 샘플 복잡도에 어떤 영향을 미치는가?

주요 결과

• 혼합 시간 $t_{\mathrm{mix}}$ 가 유한한 평균 보상 MDP의 경우, 기대 샘플 복잡도가 $\widetilde{O}(t_{\mathrm{mix}}^2 \mathrm{A_{tot}} \epsilon^{-2})$로 계산되며, 비에르고디시티 가정이 필요 없어진다.
• 할인 요소 $\gamma$ 가 있는 할인 보상 MDP의 경우, $\widetilde{O}((1-\gamma)^{-4} \mathrm{A_{tot}} \epsilon^{-2})$의 샘플 복잡도를 달성하며, 이는 이전 최고 성능 결과와 로그 인자 수준에서 동일하다.
• 알고리즘은 취한 샘플 수에 대해 선형 시간 내에서 실행되며, 효율적인 온라인 업데이트를 가능하게 한다.
• 이 프레임워크는 단순체 및 상자 영역을 가진 밀도 있는 이중선형 최적화 문제를 증명 가능하게 효율적으로 해결하며, 비선형 실행 시간을 달성한다.
• 이 방법은 제약 조건이 있는 MDP로 확장 가능하며, 이러한 문제를 근사적으로 최적화하는 새로운 접근법을 제공한다.
• 분석을 통해 MDP와 $\ell_{\infty}$ 회귀 사이의 강력한 연결 고리가 드러나며, 강화 학습에서 볼록 최적화 도구의 광범위한 적용 가능성을 시사한다.