[논문 리뷰] Stochastic Primal-Dual Q-Learning

N. Jeong, Donghwan Lee외 1명|arXiv (Cornell University)|2018. 10. 18.

Reinforcement Learning in Robotics참고 문헌 26인용 수 8

한 줄 요약

이 논문은 Q-학습을 확률적 원자-이중 최적화 문제로 공식화하는 새로운 모델리스, 오프-폴리시 강화학습 알고리즘인 Stochastic Primal-Dual Q-Learning (SPD Q-학습)을 제안한다. 이 알고리즘은 시간에 따라 변하는 상태-행동 분포 조건 하에서도 수렴 보장과 함께 증명 가능한 수렴 속도를 제공하며, 확률 $1-\delta$ 하에 $\mathcal{O}\left(\frac{|\mathcal{S}|^{6}|\mathcal{A}|^{4}}{\zeta^{4}(1-\alpha)^{6}}\frac{1}{\varepsilon^{2}}\ln\left(\frac{1}{\delta}\right)\right)$개의 샘플로 $\varepsilon$-하위최적 정책을 달성한다. 이 방법은 중요도 샘플링 없이도 원자 및 이중 해로부터 정책 복원이 가능하다.

ABSTRACT

In this work, we present a new model-free and off-policy reinforcement learning (RL) algorithm, that is capable of finding a near-optimal policy with state-action observations from arbitrary behavior policies. Our algorithm, called the stochastic primal-dual Q-learning (SPD Q-learning), hinges upon a new linear programming formulation and a dual perspective of the standard Q-learning. In contrast to previous primal-dual RL algorithms, the SPD Q-learning includes a Q-function estimation step, thus allowing to recover an approximate policy from the primal solution as well as the dual solution. We prove a first-of-its-kind result that the SPD Q-learning guarantees a certain convergence rate, even when the state-action distribution is time-varying but sub-linearly converges to a stationary distribution. Numerical experiments are provided to demonstrate the off-policy learning abilities of the proposed algorithm in comparison to the standard Q-learning.

연구 동기 및 목표

• 실세계 트레이젝터리에서의 신뢰할 수 있는 정책 학습을 가능하게 하여 이론과 실천 사이의 격차를 해소하기 위해.
• 기존 오프-폴리시 방법과 달리 중요도 샘플링이 필요 없는 모델리스, 오프-폴리시 강화학습 알고리즘을 개발하기 위해.
• 비정상적이고 시간에 따라 변하는 상태-행동 분포 하에서도 수렴성과 샘플 복잡도에 대한 이론적 보장을 제공하기 위해.
• Q-함수 추정을 원자-이중 최적화와 통합하여 원자 및 이중 해로부터 모두 정책 복원이 가능하도록 하기 위해.
• 비선형 수렴하는 상태-행동 분포 하에서 오프-폴리시 강화학습에 대한 첫 번째 수렴 속도 보장을 확립하기 위해.

제안 방법

• 벨만 방정식을 선형계획문제(LP)로 공식화하고, 그의 라그랑주 이중문제를 유도하여 원자-이중 최적화 프레임워크를 가능하게 한다.
• 임의의 행동 정책에서 온라인 샘플을 사용하여 원자(정책-가치 함수) 및 이중(라그랑주 승수) 변수를 동시에 갱신하는 확률적 원자-이중 알고리즘을 제안한다.
• 원자 해로부터 직접 근사 정책을 복원할 수 있는 Q-함수 추정 단계를 도입한다.
• 감소하는 스텝 사이즈 규칙과 확률적 서브기울기를 사용하여 샘플링 노이즈를 다루고 수렴을 보장한다.
• 라그랑주 함수를 동시에 최적화하기 위해 안정점 문제 공식화를 활용하며, 이중성을 통해 최적 정책 수렴을 보장한다.
• 마팅갈 차분 수열과 농도 불등식을 사용하여 샘플 복잡도 한계를 유도한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 상태-행동 분포 하에서도 중요도 샘플링 없이도 수렴 보장이 되는 모델리스, 오프-폴리시 강화학습 알고리즘을 설계할 수 있는가?
• RQ2 원자-이중 공식화된 Q-학습이 원자 및 이중 해 모두에서 복원 가능한 정책을 제공할 수 있는가?
• RQ3 비정상적 샘플링 하에서 이러한 원자-이중 Q-학습 알고리즘의 이론적 수렴 속도는 무엇인가?
• RQ4 샘플 복잡도는 상태 및 행동 공간 크기, 할인 인자, 그리고 원하는 정확도에 따라 어떻게 척도가 변하는가?
• RQ5 확률적 샘플링 하에서 이중성 갭을 높은 확률로 유계로 제한할 수 있는가?

주요 결과

• SPD Q-학습 알고리즘은 상태-행동 분포가 시간에 따라 변하더라도 비선형적으로 정적 분포로 수렴하는 조건 하에서도 수렴 보장과 증명 가능한 수렴 속도를 제공한다.
• 알고리즘은 $\mathcal{O}\left(\frac{|\mathcal{S}|^{4}|\mathcal{A}|^{4}}{\zeta^{4}(1-\alpha)^{4}}\frac{1}{\varepsilon^{2}}\ln\left(\frac{1}{\delta}\right)\right)$회의 반복을 통해 확률 $1-\delta$ 하에 이중성 갭이 $\varepsilon$ 이하가 된다.
• 확률 최소 $1-\delta$ 하에 $\mathcal{O}\left(\frac{|\mathcal{S}|^{6}|\mathcal{A}|^{4}}{\zeta^{4}(1-\alpha)^{6}}\frac{1}{\varepsilon^{2}}\ln\left(\frac{1}{\delta}\right)\right)$회의 반복을 통해 $\varepsilon$-하위최적 정책을 복원할 수 있다.
• 이 방법은 중요도 샘플링 없이도 원자 및 이중 해로부터 정책 복원이 가능하게 하여 추가 정책 최적화 단계가 필요 없도록 한다.
• 수렴 분석을 통해 상태 및 행동 공간 크기, 할인 인자, 그리고 $\zeta$를 통한 분포의 혼합 속도에 따라 의존하는 비점근적 샘플 복잡도 한계를 확립한다.
• 수치 실험을 통해 SPD Q-학습의 오프-폴리시 학습 능력이 비균일 행동 정책 하에서도 표준 Q-학습에 비해 뛰어난 성능을 보임을 검증한다.