[논문 리뷰] Fastest Convergence for Q-learning

Adithya M. Devraj, Sean Meyn|arXiv (Cornell University)|2017. 07. 12.

Adaptive Dynamic Programming Control참고 문헌 23인용 수 27

한 줄 요약

이 논문은 뉴턴-랩슨 동역학을 두 시간 척도의 확률적 근사로 모방함으로써 최적의 수렴 속도를 달성하는 행렬 이득 Q-학습 알고리즘인 Zap Q-학습을 소개한다. 이 알고리즘은 渐近 분산을 최적화하고, 비이deal한 파rameterized 설정에서 특히 뛰어난 유한 시간 성능을 보이며, 수치 실험에서 표준 Q-학습 및 스칼라 이득 방법보다 뛰어난 성능을 보인다.

ABSTRACT

The Zap Q-learning algorithm introduced in this paper is an improvement of Watkins' original algorithm and recent competitors in several respects. It is a matrix-gain algorithm designed so that its asymptotic variance is optimal. Moreover, an ODE analysis suggests that the transient behavior is a close match to a deterministic Newton-Raphson implementation. This is made possible by a two time-scale update equation for the matrix gain sequence. The analysis suggests that the approach will lead to stable and efficient computation even for non-ideal parameterized settings. Numerical experiments confirm the quick convergence, even in such non-ideal cases. A secondary goal of this paper is tutorial. The first half of the paper contains a survey on reinforcement learning algorithms, with a focus on minimum variance algorithms.

연구 동기 및 목표

• 워터스의 Q-학습의 느린 수렴과 비이deal한 파rameterized 설정에서의 불안정성 문제를 해결하기 위해.
• 확률적 근사 이론을 기반으로 최적의 渐近 분산을 갖는 Q-학습 알고리즘을 설계하기 위해.
• 두 시간 척도 업데이트를 통해 결정론적 뉴턴-랩슨 동역학을 모방함으로써 일시적 행동을 향상시키기 위해.
• 스칼라 이득 및 평균 기반 Q-학습 방법의 이론적으로 탄탄하고 안정적이며 효율적인 대안을 제공하기 위해.
• 비이deal한 함수 근사 설정에서의 향후 이론 기반을 마련하기 위해.

제안 방법

• 알고리즘은 Q-함수의 기울기의 역행렬을 추적하기 위해 두 시간 척도의 확률적 근사 프레임워크를 사용하며, 뉴턴-랩슨 단계를 모방한다.
• 행렬 이득은 渐近 분산을 최소화하는 최적의 이득 시퀀스를 따라 적응적으로 업데이트된다.
• 알고리즘은 동적 시스템의 일시적 행동이 결정론적 뉴턴-랩슨 시스템과 연결됨을 보여주는 ODE 분석에 기반한다.
• 渐近 공분산은 라플라스 방정식의 해로 유도되어 분산 최적화가 가능해진다.
• 진짜 Q-함수가 파라미터화된 함수 클래스에 포함되지 않을 경우에도 안정성과 효율성을 유지하도록 알고리즘이 설계되었다.
• 유한 수평 및 평균 보상 설정에서 여러 시뮬레이션 런을 통해 성능을 검증하는 수치 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 행렬 이득 Q-학습 알고리즘이 渐近 분산 최적화를 통해 표준 Q-학습보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 행렬 이득의 두 시간 척도 업데이트가 비이deal한 파라미터화 설정에서 일시적 행동과 안정성에 어떤 영향을 미치는가?
• RQ3 渐近 공분산이 강화 학습 알고리즘의 유한 시간 성능을 얼마나 잘 예측할 수 있는가?
• RQ4 최적 Q-함수가 파라미터화된 함수 클래스 외부에 있을 경우 Zap Q-학습 프레임워크를 어떻게 확장할 수 있는가?
• RQ5 Polyak-Ruppert 평균화 및 스칼라 이득 방법과 비교할 때 Zap Q-학습의 일시적 성능과 이상치 행동은 어떠한가?

주요 결과

• Zap Q-학습은 최적의 渐近 분산을 달성하여, 표준 Q-학습 대비 스케일링된 공분산을 크게 감소시켰다.
• 수치 실험에서 Zap Q-학습은 n = 2×10⁶에서 평균 보상 < 0.5인 이상치의 수를 500개 이상에서 0개로 줄였다. 반면 G-Q(0)는 g=100일 때 395개의 이상치를 기록했다.
• 평균 보상 < 0.95인 경우, Zap Q-학습은 ρ=0.85일 때 n = 2×10⁶에 도달할 무렵 모든 이상치를 제거했고, 동일한 n에서 G-Q(0)는 525개의 이상치를 기록했다.
• 알고리즘의 일시적 행동은 ODE 분석에 의해 예측된 바와 같이 결정론적 뉴턴-랩슨 동역학과 매우 유사하게 나타났다.
• Zap Q-학습은 유한 시간 성능에서 스칼라 이득 방법과 RPJ 평균화보다 뛰어나며, 후자조차도 최적의 渐近 분산을 갖추고 있음에도 불구하고 그러하다.
• 비이deal한 설정에서도 안정적인 수렴과 최소한의 이상치를 보이며 강건성을 입증하여, 더 넓은 적용 가능성을 시사한다.