[논문 리뷰] Almost Optimal Model-Free Reinforcement Learning via Reference-Advantage Decomposition

Zihan Zhang, Yuan Zhou외 1명|arXiv (Cornell University)|2020. 04. 21.

Reinforcement Learning in Robotics참고 문헌 26인용 수 45

한 줄 요약

논문은 참고-이점 분해를 갖춘 모델-프리 RL 알고리즘인 UCB-Advantage를 소개하며, finite-horizon episodic MDP에서 거의 최적에 가까운 후회(regret)를 달성하고 낮은 스위칭 비용을 갖고, 로그 요인까지 모델 기반 방법과 대등하다.

ABSTRACT

We study the reinforcement learning problem in the setting of finite-horizon episodic Markov Decision Processes (MDPs) with $S$ states, $A$ actions, and episode length $H$. We propose a model-free algorithm UCB-Advantage and prove that it achieves $ ilde{O}(\sqrt{H^2SAT})$ regret where $T = KH$ and $K$ is the number of episodes to play. Our regret bound improves upon the results of [Jin et al., 2018] and matches the best known model-based algorithms as well as the information theoretic lower bound up to logarithmic factors. We also show that UCB-Advantage achieves low local switching cost and applies to concurrent reinforcement learning, improving upon the recent results of [Bai et al., 2019].

연구 동기 및 목표

• 모델 기반 방법과 비교할 수 있을 만큼의 학습 효율을 모델-프리 RL이 달성할 수 있는지 여부를 모티브로 삼는다.
• 참고-이점 분해를 사용하여 후회 및 데이터 효율성을 개선하는 새로운 모델-프리 알고리즘 UCB-Advantage를 제안한다.
• UCB-Advantage가 로그 팩터까지 최적의 모델 기반 경계에 근접한 후회를 달성하고 지역 스위칭 비용이 낮음을 보인다.
• 배치 또는 병렬 학습에 유용한 실용적 이점을 강조하면서 이 접근법을 동시 RL 설정으로 확장한다.

제안 방법

• 각 상태-행동-holistic 트리플 (s,a,h)이 지수적으로 커지는 길이로 단계에서 데이터를 수집하는 단계 기반 업데이트 프레임워크를 도입한다.
• 참고-이점 분해 V* = Vref + (V* − Vref)를 제안하고 두 가지 항으로 Q를 업데이트한다: (i) 모든 샘플로 추정된 참조 기반 항, (ii) 현재 단계의 샘플로만 추정된 어드밴티지 기반 항.
• 다음 업데이트 규칙 제시: Q_h(s,a) ← P_s,a,h V_ref_{h+1} + P_s,a,h (V_{h+1} − V_ref_{h+1}) + r_h(s,a) + b (b는 탐색 보너스).
• 두 규칙을 단계 기반 프레임워크 안에서 결합할 수 있도록 병렬로 표준 업데이트 규칙을 채택한다.
• 제한된 샘플 복잡도로 고정된 참조 값 함수 Vref를 학습하고 학습 중 점진적으로 이를 개선한다.
• 이론적 보장을 제시: (i) 후회 경계 Regret(T) ≤ ~O(√(H^2 S A T))를 높은 확률로, (ii) 기존의 모델 프리 방법에 비해 개선된 로컬 스위칭 비용 O(S A H^2 log T), 그리고 (iii) 동시 RL에 대한 상근 근사적 최적의 에피소드 복잡도에 대한 corollary.

실험 결과

연구 질문

• RQ1 모델-기반 접근법과 비교할 수 있을 만큼의 후회 경계가 finite-horizon episodic MDP에서 모델-프리 강화학습이 달성할 수 있는가?
• RQ2 참고-이점 분해가 모델-프리 Q-학습에서 분산을 감소시키고 데이터 효율성을 개선하는가?
• RQ3 단계 기반 업데이트 프레임워크가 전환 비용과 동시 RL의 실용성에 어떤 영향을 주는가?
• RQ4 이 설정에서 모델-프리 방법의 이론적 한계(하한)는 무엇이며, 그것들이 모델 기반 보장에 얼마나 근접할 수 있는가?

주요 결과

• UCB-Advantage는 고확률로 Regret bound ~O(√(H^2 S A T))를 달성하여 정보 이론적 하한과 로그 요인까지 일치한다.
• 알고리즘이 기존 모델-프리 방법 대비 √H 격차를 줄이고 로그 요인까지 UCBVI와 vUCQ 같은 최상위 모델 기반 알고리즘의 성능과 일치한다.
• 단계 기반 업데이트 프레임워크는 로컬 스위칭 비용을 O(S A H^2 log T)로 낮춰 이전 연구보다 개선된다.
• 접근법은 동시 RL로 확장되어 ε-최적 정책을 ~O(H^2 S A + H^3 S A / (ε^2 M)) 동시 에피소드에서 제공하며, 동시에 근접 최적임을 보여주는 하한도 함께 제시된다.
• 참고-이점 분해를 통해 참조 항을 위해 모든 샘플을 사용하고 더 불안정한 두 번째 항을 최신 단계로 제한하여 분산을 줄이고 더 촘촘한 후회 분석이 가능하다.