[논문 리뷰] Stochastic Primal-Dual Methods and Sample Complexity of Reinforcement Learning

Yi‐Chen Chen, Mengdi Wang|arXiv (Cornell University)|2016. 12. 08.

Reinforcement Learning in Robotics참고 문헌 17인용 수 43

한 줄 요약

이 논문은 유한한 시간 범위와 무한한 시간 범위의 MDP에서 모델에 의존하지 않는 강화학습을 위한 확률적 원-이중(Stochastic Primal-Dual, SPD) 방법을 제안한다. 벨만 방정식의 이중성 구조를 활용하여 효율적이고 저비용 저장을 요구하는 온라인 학습을 가능하게 한다. 이 방법은 유한한 시간 범위 MDP의 경우 O(|S|⁴|A|²H⁶σ²/ϵ² log(1/δ))개의 샘플을 사용하여 높은 확률로 ϵ-최적 정책을 달성하며, 할인율이 적용된 MDP의 경우 O(|S|⁴|A|²σ²/(1−γ)⁶ϵ² log(1/δ))개의 샘플을 사용한다. 이는 이중성 갭 분석과 마틴게일 농도 기법을 통해 엄밀한 샘플 복잡도 한계를 확립한 것이다.

ABSTRACT

We study the online estimation of the optimal policy of a Markov decision process (MDP). We propose a class of Stochastic Primal-Dual (SPD) methods which exploit the inherent minimax duality of Bellman equations. The SPD methods update a few coordinates of the value and policy estimates as a new state transition is observed. These methods use small storage and has low computational complexity per iteration. The SPD methods find an absolute-$ε$-optimal policy, with high probability, using $\mathcal{O}\left(\frac{|\mathcal{S}|^4 |\mathcal{A}|^2σ^2 }{(1-γ)^6ε^2} ight)$ iterations/samples for the infinite-horizon discounted-reward MDP and $\mathcal{O}\left(\frac{|\mathcal{S}|^4 |\mathcal{A}|^2H^6σ^2 }{ε^2} ight)$ for the finite-horizon MDP.

연구 동기 및 목표

• 전이 확률이나 보상 분포에 대한 완전한 지식이 필요 없이 이론적 샘플 복잡도 보장을 달성하는 모델에 의존하지 않는 확장 가능한 강화학습 알고리즘을 개발하는 것.
• 벨만 방정식의 내재된 원-이중 구조를 활용하여 이를 확률적 안장점 문제로 재구성하는 것.
• 스트리밍 상태 전이 데이터로부터 실시간으로 학습 가능한, 각 반복에서 계산 및 저장 비용이 낮은 확률적 원-이중 알고리즘을 설계하는 것.
• 이중성 갭에 대한 확률적 농도 기법을 적용하여, 유한한 시간 범위와 무한한 시간 범위 MDP 모두에 대해 엄밀한 샘플 복잡도 한계를 확립하는 것.
• 알고리즘이 문제 매개변수에 다항식적으로 의존하는 샘플 수를 사용하여 ϵ-최적 정책을 높은 확률로 달성할 수 있음을 보여주는 것.

제안 방법

• 최적의 가치 함수와 정책가 각각 원-이중 해로 작용하는 확률적 안장점 문제로 벨만 방정식을 재구성하는 것.
• 단일 상태 전이로부터 노이즈가 섞인 부분 기울기를 사용하여 실시간으로 가치 및 정책 추정치를 갱신하는 SPD-dMDP 및 SPD-fMDP 알고리즘을 제안하는 것.
• 특수하게 구성된 집합 위에 대체 투영을 적용하여 탇합성 유지 및 확률적 설정에서의 수렴 보장하는 것.
• 유한한 시간 범위의 경우 시간에 따라 변화하는 학습률 전략을 적용하여 초기 단계에서 더 강한 업데이트를 통해 오차 전파를 균형 잡는 것.
• 이중성 갭 수열을 분석하고, 구성된 마틴게일에 대해 버르스타인 부등식을 적용하여 평균 수렴 속도를 상한으로 제시하는 것.
• 이중성 갭을 정책의 비최적성에 대한 대체 측정기로 활용하여 갭의 수렴이 학습된 정책의 근사 오차와 직접 연결되도록 하는 것.

실험 결과

연구 질문

• RQ1 모델에 의존하지 않는 강화학습에서 최적의 샘플 복잡도를 달성하는 확률적 원-이중 방법을 설계할 수 있는가?
• RQ2 벨만 방정식의 내재된 이중성은 어떻게 활용하여 저비용 저장, 저복잡도의 온라인 학습 알고리즘을 설계할 수 있는가?
• RQ3 확률적이고 단계적 업데이트를 사용할 때, 유한한 시간 범위와 할인율이 적용된 MDP에서 ϵ-최적 정책을 달성하기 위한 가장 날카로운 샘플 복잡도 한계는 무엇인가?
• RQ4 유한한 시간 범위 MDP에서 학습률을 시간 단계에 따라 어떻게 조정해야 수렴성과 최적의 샘플 효율성을 확보할 수 있는가?
• RQ5 이중성 갭은 학습된 정책의 비최적성에 직접 상한을 제공하는 신뢰할 수 있는 수렴 측정기로 사용될 수 있는가?

주요 결과

• SPD-dMDP 알고리즘은 할인율이 적용된 무한한 시간 범위 MDP에서 O(|S|⁴|A|²σ²/(1−γ)⁶ϵ² log(1/δ))회의 반복을 통해 확률 1−δ 이상으로 ϵ-최적 정책을 달성한다.
• SPD-fMDP 알고리즘은 H단계를 가진 유한한 시간 범위 MDP에서 O(|S|⁴|A|²H⁶σ²/ϵ² log(1/δ))회의 반복을 통해 확률 1−δ 이상으로 ϵ-최적 정책을 달성한다.
• 샘플 복잡도 한계는 엄밀하며 문제 매개변수 |S|, |A|, H, σ, 1/ϵ에 대해 다항식적이고, 1/δ에 대해 로그적 의존성을 가진다.
• 이중성 갭 수열이 O(1/√T)의 속도로 수렴함을 입증하였으며, 이는 주어진 조건 하에서 기대 정책 비최적성의 감소 속도가 O(1/√T)임을 의미한다.
• 분석을 통해 이중성 갭이 ∞-노름 정책 비최적성에 상한을 제공하며, 갭을 가치 함수 오차로 변환할 때 H²의 스케일링 인자가 작용함을 규명하였다.
• 이 방법은 비선형 저장 복잡도를 달성한다: 할인율이 적용된 MDP의 경우 O(|S||A|), 유한한 시간 범위 MDP의 경우 O(|S||A|H)로, 큰 상태-행동 공간에 대해 확장 가능하다.