[논문 리뷰] Variance Reduced Value Iteration and Faster Algorithms for Solving Markov Decision Processes

Aaron Sidford, Mengdi Wang외 2명|arXiv (Cornell University)|2017. 10. 27.

Reinforcement Learning in Robotics참고 문헌 29인용 수 4

한 줄 요약

이 논문은 할인율이 중간 수준일 때, 할인된 마르코프 결정 과정(DMDPs)을 해결하는 데 거의 선형적이고 부분선형적인 시간 복잡도를 달성하는 분산 감소 값 반복 알고리즘을 소개한다. 고전적인 값 반복과 새로운 샘플링 및 분산 감소 기법을 결합함으로써, 상태 공간 크기, 행동 공간, 할인 인자, 정확도에 대한 런타임 의존성을 향상시킨 더 빠른 알고리즘을 개발하였다. 이로써 중간 할인 인자에 대해 처음으로 거의 선형 수렴성과 거의 선형 시간 복잡도를 확보한 알고리즘이 되었다.

ABSTRACT

In this paper we provide faster algorithms for approximately solving discounted Markov Decision Processes in multiple parameter regimes. Given a discounted Markov Decision Process (DMDP) with $|S|$ states, $|A|$ actions, discount factor $γ\in(0,1)$, and rewards in the range $[-M, M]$, we show how to compute an $ε$-optimal policy, with probability $1 - δ$ in time \[ ilde{O}\left( \left(|S|^2 |A| + \frac{|S| |A|}{(1 - γ)^3} ight) \log\left( \frac{M}ε ight) \log\left( \frac{1}δ ight) ight) ~ . \] This contribution reflects the first nearly linear time, nearly linearly convergent algorithm for solving DMDPs for intermediate values of $γ$. We also show how to obtain improved sublinear time algorithms provided we can sample from the transition function in $O(1)$ time. Under this assumption we provide an algorithm which computes an $ε$-optimal policy with probability $1 - δ$ in time \[ ilde{O} \left(\frac{|S| |A| M^2}{(1 - γ)^4 ε^2} \log \left(\frac{1}δ ight) ight) ~. \] Lastly, we extend both these algorithms to solve finite horizon MDPs. Our algorithms improve upon the previous best for approximately computing optimal policies for fixed-horizon MDPs in multiple parameter regimes. Interestingly, we obtain our results by a careful modification of approximate value iteration. We show how to combine classic approximate value iteration analysis with new techniques in variance reduction. Our fastest algorithms leverage further insights to ensure that our algorithms make monotonic progress towards the optimal value. This paper is one of few instances in using sampling to obtain a linearly convergent linear programming algorithm and we hope that the analysis may be useful more broadly.

연구 동기 및 목표

• 상태 공간 크기, 행동 공간, 할인 인자, 정확도 등의 핵심 매개변수에 대한 런타임 의존성을 향상시켜 할인된 마르코프 결정 과정(DMDPs)을 근사적으로 해결하는 데 더 빠른 알고리즘을 개발하는 것.
• 특히 할인 인자 γ의 중간 값에 대해 거의 선형 시간 복잡도와 거의 선형 수렴성을 달성하는 것.
• 제안된 알고리즘을 유한 수명의 MDPs로 확장하여, 여러 매개변수 영역에서 기존의 부분선형 시간 알고리즘을 초월하는 것.
• 샘플링과 분산 감소 기법을 활용하여 최적의 값 함수 향한 단조적 진전을 보장하면서도 높은 확률로 정확도 보장을 유지하는 것.
• 고전적인 값 반복과 현대 최적화 기법을 융합하여 DMDPs를 해결하는 데 새로운 복잡도 기준을 설정하는 것.

제안 방법

• 저자들은 값 함수 갱신에서의 노이즈를 줄이기 위해 분산 감소 기법을 약간 수정된 근사 값 반복에 통합함으로써 수렴 속도를 향상시켰다.
• O(1) 시간 내에 전이를 샘플링하는 랜덤 알고리즘을 도입하고, 오차가 유한한 값을 함수 추정치를 계산하기 위해 분산 감소 확률적 근사 기법을 사용한다.
• 핵심 혁신은 값 함수 갱신과 전이 샘플링 과정을 분리하기 위해 오프셋 벡터를 사용하는 것으로, 더 강한 농도 경계를 가능하게 한다.
• 유한 수명의 MDPs의 경우, 알고리즘은 수명 세그먼트에 걸쳐 분산 감소 값 반복을 재귀적으로 적용하고, 재귀적 정책 개선 전략을 사용한다.
• 스토하스틱 기울기의 분산을 신중하게 제어하고 신뢰 구간을 사용함으로써 최적의 값 함수 향한 단조적 진전을 보장한다.
• 이론적 분석은 고전적인 값 반복 수렴 논증과 현대적 분산 감소 도구를 융합하여, 고확률적으로 향상된 런타임 경계를 도출한다.

실험 결과

연구 질문

• RQ1 분산 감소 기법이 DMDPs의 값 반복에 효과적으로 적용되어 수렴 속도 향상과 런타임 복잡도 향상에 기여할 수 있는가?
• RQ2 대규모 DMDPs를 고확률 보장 하에 해결할 때, 계산 비용과 정확도 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 전이 샘플링이 O(1) 시간 내에 가능할 경우, DMDPs에 대해 부분선형 시간 알고리즘을 개발할 수 있으며, 이때 ε, γ, M에 대한 런타임 의존성은 어떻게 되는가?
• RQ4 분산 감소 값 반복을 유지하면서도 빠른 수렴성과 낮은 계산 비용을 확보할 수 있도록, 이를 유한 수명의 MDPs로 어떻게 확장할 수 있는가?
• RQ5 제안된 방법은 유계 직경이나 에르고딕성과 같은 추가적인 구조적 가정이 있는 설정으로 일반화될 수 있는가?

주요 결과

• ε-최적 정책을 확률 1−δ로 계산하기 위해 Õ((|S|²|A| + |S||A|/(1−γ)³) log(M/ε) log(1/δ))의 런타임을 달성하였으며, 이는 중간 γ에 대해 처음으로 거의 선형 시간 복잡도와 거의 선형 수렴성을 확보한 알고리즘이다.
• O(1) 전이 샘플링 조건 하에서, 알고리즘은 ε ∈ (0, M/√(1−γ))일 때 Õ(|S||A|M²/((1−γ)⁴ε²) log(1/δ)) 시간 내에 실행되어 상태 및 행동 공간에 대한 부분선형 런타임 의존성을 확보한다.
• 유한 수명의 MDPs의 경우, 알고리즘은 Õ(|S|⁵/³|A|H⁵/³M²/³/ε²/³ log(|S||A|H/δ))의 런타임을 달성하여, 여러 매개변수 영역에서 기존 방법을 향상시킨다.
• 제안된 분산 감소 값 반복은 스토하스틱 갱신에서의 분산을 제어함으로써 최적의 값 함수 향한 단조적 진전을 보장한다.
• 고전적인 값 반복과 현대적 샘플링 및 분산 감소 기법을 융합함으로써 DMDPs를 해결하는 데 새로운 복잡도 기준을 설정하였다.
• 분석은 샘플링을 사용해 선형 수렴성의 선형 프로그래밍 알고리즘을 처음으로 도출하였으며, 이는 MDPs를 초월한 광범위한 적용 가능성을 시사한다.