[논문 리뷰] Momentum Q-learning with Finite-Sample Convergence Guarantee

Bowen Weng, Huaqing Xiong외 3명|arXiv (Cornell University)|2020. 07. 30.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 36인용 수 8

한 줄 요약

이 논문은 수렴 속도를 가속화하기 위해 네스터프(Nesterov) 및 폴락(Polyak)의 모멘텀 기법을 통합한 새로운 Q-학습 알고리즘인 MomentumQ를 제안한다. 선형 함수 근사에 대해 모멘텀 기반 Q-학습의 최초의 유한 샘플 수렴 보장을 제공하며, 기존의 단순 Q-학습보다 더 빠른 수렴 속도를 증명하고, 특정 단계 크기 하에서 표본 표기(tabular) 경우에서 SpeedyQ보다 略적으로 더 좋은 수렴 속도를 달성한다.

ABSTRACT

Existing studies indicate that momentum ideas in conventional optimization can be used to improve the performance of Q-learning algorithms. However, the finite-sample analysis for momentum-based Q-learning algorithms is only available for the tabular case without function approximations. This paper analyzes a class of momentum-based Q-learning algorithms with finite-sample guarantee. Specifically, we propose the MomentumQ algorithm, which integrates the Nesterov's and Polyak's momentum schemes, and generalizes the existing momentum-based Q-learning algorithms. For the infinite state-action space case, we establish the convergence guarantee for MomentumQ with linear function approximations and Markovian sampling. In particular, we characterize the finite-sample convergence rate which is provably faster than the vanilla Q-learning. This is the first finite-sample analysis for momentum-based Q-learning algorithms with function approximations. For the tabular case under synchronous sampling, we also obtain a finite-sample convergence rate that is slightly better than the SpeedyQ \citep{azar2011speedy} when choosing a special family of step sizes. Finally, we demonstrate through various experiments that the proposed MomentumQ outperforms other momentum-based Q-learning algorithms.

연구 동기 및 목표

• 함수 근사와 함께 모멘텀 기반 Q-학습에 대한 유한 샘플 수렴 분석의 부족을 해결한다.
• 더 나은 Q-학습 수렴을 위해 네스터프의 모멘텀과 폴락의 모멘텀을 통합한 통합된 모멘텀 프레임워크를 개발한다.
• 선형 함수 근사 및 표본 표기 설정에서 MomentumQ의 이론적 유한 샘플 수렴 속도를 확립한다.
• 실험적으로 MomentumQ가 단순 Q-학습 및 기존의 모멘텀 기반 알고리즘을 항상 능가함을 보여준다.

제안 방법

• 기존의 역사 기반 업데이트 규칙을 사용하여 네스터프의 모멘텀과 폴락의 모멘텀 기법을 모두 통합한 Q-학습 변종인 MomentumQ를 제안한다.
• 수렴 증명에서 모멘텀 항의 추가 복잡성을 다루기 위해 새로운 분석 프레임워크를 도입한다.
• 벨만 연산자의 수축 성질과 호프딩-아주마 부등식을 사용하여 추정 오차를 근사한다.
• 최대 호프딩-아주마 부등식을 적용하여 시간에 따른 확률적 오차의 최대 편차를 제어한다.
• 수축성과 오차 분해 레미마를 반복적으로 적용하여 유한 샘플 경계를 유도한다.
• 모멘텀 업데이트의 구조를 유용하게 활용하여 단순 Q-학습보다 더 빠른 수렴 속도를 달성한다.

실험 결과

연구 질문

• RQ1 선형 함수 근사와 함께 사용할 때 모멘텀 기반 Q-학습이 유한 샘플 수렴 보장을 달성할 수 있는가?
• RQ2 표본 표기 및 함수 근사 설정에서 MomentumQ의 수렴 속도는 단순 Q-학습 및 SpeedyQ와 비교해 어떻게 되는가?
• RQ3 함수 근사와 함께 모멘텀 기반 Q-학습을 분석할 때 발생하는 기술적 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ4 제안된 MomentumQ 알고리즘이 실질적으로 기존의 모멘텀 기반 Q-학습 방법보다 항상 뛰어난 성능을 보이는가?
• RQ5 모멘텀 파라미터와 단계 크기 선택이 알고리즘의 수렴 속도와 안정성에 미치는 영향은 무엇인가?

주요 결과

• MomentumQ는 선형 함수 근사 및 마르코프 샘플링 하에서 단순 Q-학습보다 유한 샘플 수렴 속도가 증명적으로 더 빠르게 된다.
• 동기식 샘플링 하에서 표본 표기 경우, 특정 단계 크기의 가족을 사용할 경우 MomentumQ는 SpeedyQ보다 약간 더 좋은 유한 샘플 수렴 속도를 달성한다.
• 이론적 분석을 통해 함수 근사와 함께 사용할 때 모멘텀 기반 Q-학습에 대한 최초의 유한 샘플 수렴 보장을 확립한다.
• MomentumQ의 유한 샘플 경계는 $ O(1/T) $ 스케일을 가지며, 모멘텀 통합으로 인해 상수 요소가 향상된다.
• 실험 결과로 MomentumQ가 표본 표기 및 함수 근사 환경에서 단순 Q-학습 및 다른 모멘텀 기반 Q-학습 알고리즘을 일관되게 능가함을 보여준다.
• 알고리즘의 성능 향상은 네스터프와 폴락 모멘텀의 효과적인 조합으로 인해 진동을 감소시키고 수렴 속도를 가속화하기 때문임을 밝혀냈다.