[논문 리뷰] Q-Learning for MDPs with General Spaces: Convergence and Near Optimality via Quantization under Weak Continuity

Ali̇ Devran Kara, Naci Saldı외 1명|arXiv (Cornell University)|2021. 11. 12.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 전이 커널의 약한 연속성 하에 양자화를 도입함으로써 일반적인(표준 보렐) 상태 및 행동 공간을 가진 마코프 결정 과정(MDPs)에 대한 Q-러닝의 수렴성과 근사 최적성( near-optimality)을 확립한다. 이는 양자화된 Q-러닝이 최적성 방정식을 만족하는 극한으로 수렴하며, 미묘한 정규성 조건 하에 渐近적으로 최적인 명시적 성능 한계를 제공함을 증명한다.

ABSTRACT

Reinforcement learning algorithms often require finiteness of state and action spaces in Markov decision processes (MDPs) (also called controlled Markov chains) and various efforts have been made in the literature towards the applicability of such algorithms for continuous state and action spaces. In this paper, we show that under very mild regularity conditions (in particular, involving only weak continuity of the transition kernel of an MDP), Q-learning for standard Borel MDPs via quantization of states and actions (called Quantized Q-Learning) converges to a limit, and furthermore this limit satisfies an optimality equation which leads to near optimality with either explicit performance bounds or which are guaranteed to be asymptotically optimal. Our approach builds on (i) viewing quantization as a measurement kernel and thus a quantized MDP as a partially observed Markov decision process (POMDP), (ii) utilizing near optimality and convergence results of Q-learning for POMDPs, and (iii) finally, near-optimality of finite state model approximations for MDPs with weakly continuous kernels which we show to correspond to the fixed point of the constructed POMDP. Thus, our paper presents a very general convergence and approximation result for the applicability of Q-learning for continuous MDPs.

연구 동기 및 목표

• 연속(표준 보렐) 상태 및 행동 공간을 가진 MDPs에 대해 Q-러닝의 수렴성 및 최적성 보장을 확장하기 위해.
• 일반 조건 하에 연속 MDPs에 대한 Q-러닝의 엄밀한 수렴성 및 근사 한계 부족 문제를 해결하기 위해.
• 전이 커널의 약한 연속성 하에 양자화된 Q-러닝이 명시적 오차 한계 하에 근사 최적 정책을 도출함을 확립하기 위해.
• 유한 시간 평가 Q-러닝 이론을 연속 MDPs로 확장하기 위해, 양자화된 MDP를 POMDP로 간주하고 POMDP 수렴 결과를 활용하기 위해.

제안 방법

• 상태 및 행동의 양자화를 측정 커널로 간주하여, 양자화된 MDP를 부분 관측 가능 MDP(POMDP)로 변환하기.
• POMDP에 대한 기존의 수렴성 및 근사 최적성 결과를 양자화된 시스템에 적용하기.
• POMDP 설정의 고정점(fixed point)을 활용하여, 양자화된 가치 함수가 진정한 최적 가치 함수를 근사함을 보여주기.
• 전이 커널의 약한 연속성을 활용하여, 양자화 하에서의 근사 안정성과 수렴성을 보장하기.
• 최적 가치 함수의 리프시츠 연속성과 비용 함수의 유계성( boundedness )을 통해 명시적 성능 한계 유도하기.
• 양자화 오차, 전이 커널 근사 오차, 가치 함수 반복 오차를 통합하여 총 오차 한계 유도하기.

실험 결과

연구 질문

• RQ1 전이 커널의 약한 연속성 하에, 연속 상태 및 행동 공간을 가진 MDPs에 대한 Q-러닝이 엄밀하게 수렴할 수 있는가?
• RQ2 양자화를 통해 연속 MDPs에 적용된 Q-러닝에 대해 어떤 성능 보장(예: 오차 한계)을 확립할 수 있는가?
• RQ3 양자화된 MDP 설정은 원래 MDP와 최적성 및 수렴성 측면에서 어떻게 관련이 있는가?
• RQ4 양자화된 Q-러닝 정책이 언제 渐近적으로 최적성이 되는가?
• RQ5 진정한 최적 가치 함수와 양자화된 Q-러닝 결과 사이의 근사 오차를 명시적으로 유 bounds 할 수 있는가?

주요 결과

• 전이 커널의 약한 연속성 하에, 양자화된 MDP에 대한 Q-러닝은 최적성 방정식을 만족하는 극한으로 수렴한다.
• 원래 MDP의 최적 가치 함수는 $ \frac{\alpha_{c}}{(1-\beta\alpha_{T})(1-\beta)}\bar{L} $의 오차 범위로 양자화된 Q-러닝 결과에 의해 근사된다. 여기서 $ \alpha_{c} $, $ \alpha_{T} $, 및 $ \bar{L} $는 양자화 및 리프시츠 매개변수이다.
• 양자화된 Q-러닝에서 유도된 정책은 최적 정책으로부터 $ \frac{2\alpha_{c}}{(1-\beta)^2(1-\beta\alpha_{T})}\bar{L} $의 성능 갭을 가진다.
• 최적 가치 함수 $ J^{*}_{\beta} $ 는 $ \|J^{*}_{\beta}\|_{L} \leq \frac{\alpha_{c}}{1-\beta\alpha_{T}} $ 의 리프시츠 연속성 상수를 가지며, 이는 오차 전파 분석을 가능하게 한다.
• 이 방법은 渐近 최적성을 확립한다: 양자화가 점점 더 미세해질수록 성능 갭은 사라진다.
• 이 프레임워크는 양자화를 POMDP로 간주함으로써, 유한 시간 평가 Q-러닝 수렴 이론과 연속 MDPs를 통합하여 엄밀한 오차 분석을 가능하게 한다.