[논문 리뷰] Zap Q-Learning With Nonlinear Function Approximation

Shuhang Chen, Adithya M. Devraj외 3명|arXiv (Cornell University)|2019. 10. 11.

Reinforcement Learning in Robotics참고 문헌 60인용 수 8

한 줄 요약

이 논문은 뉴럴 네트워크를 사용할 때조차 일致성과 빠른 수렴을 보장하는 뉴턴-라프슨 기반의 확률적 근사 프레임워크를 사용하는 비선형 함수 근사와 함께 Zap Q-학습을 제안한다. 비특이성 조건 하에서 이론적 안정성을 확립하고, 다양한 네트워크 아키텍처를 가진 OpenAI Gym 환경에서 빠르고 강인한 수렴을 입증한다.

ABSTRACT

Zap Q-learning is a recent class of reinforcement learning algorithms, motivated primarily as a means to accelerate convergence. Stability theory has been absent outside of two restrictive classes: the tabular setting, and optimal stopping. This paper introduces a new framework for analysis of a more general class of recursive algorithms known as stochastic approximation. Based on this general theory, it is shown that Zap Q-learning is consistent under a non-degeneracy assumption, even when the function approximation architecture is nonlinear. Zap Q-learning with neural network function approximation emerges as a special case, and is tested on examples from OpenAI Gym. Based on multiple experiments with a range of neural network sizes, it is found that the new algorithms converge quickly and are robust to choice of function approximation architecture.

연구 동기 및 목표

• 비선형 함수 근사, 특히 딥 강화학습 환경에서의 안정성 부족과 느린 수렴 문제를 해결하기 위해.
• 표본 및 최적 정지 사례를 초월해 일반적인 비선형 함수 근사기법으로 Zap Q-학습의 이론적 기반을 확장하기 위해.
• 확률적 근사 이론을 활용해 Zap Q-학습의 엄밀한 안정성 및 일致성 분석을 제공하기 위해.
• 다양한 신경망 아키텍처를 가진 OpenAI Gym 환경에서 알고리즘의 실증적 검증을 위해.

제안 방법

• 수렴 가속화와 일치성 보장을 위해 뉴턴-라프슨 기반의 벡터장이 적용된 확률적 근사 프레임워크를 사용한다.
• Q-학습 문제를 근을 찾는 문제로 재구성한다: E[ζₙDₙ₊₁] = 0 인 θ*를 찾는 것, 여기서 Dₙ₊₁는 시간 차분 오차이다.
• 안정성 향상을 위해 정규화된 뉴턴-라프슨 유량을 사용하며, 이는 Gₙ₊₁ = -[∂θf(θₙ, Φₙ₊₁)]⁻¹ 로 정의된 이득 행렬을 사용한다.
• 자기회귀적 잭오비안 행렬 추정과 저랭크 업데이트 전략을 적용하여 각 업데이트당 계산 비용을 O(d³)에서 O(d²)로 감소시킨다.
• 학습 중 탐색을 위해 랜덤화된 정적 정책과 ε-그리디 탐색을 통합한다.
• ρ=0.85 및 n₀=100 으로 설정된 수정된 단계 크기 규칙을 사용하며, 행렬 역행렬에서 정규화를 위해 작은 ε=10⁻⁶ 을 사용한다.

실험 결과

연구 질문

• RQ1 비선형 함수 근사기법(예: 딥 뉴럴 네트워크)을 사용할 때 Zap Q-학습이 일치성과 수렴성을 유지할 수 있는가?
• RQ2 Zap Q-학습에서 뉴턴-라프슨 기반 업데이트 규칙이 표준 Q-학습보다 더 빠른 수렴을 이끌어내는가?
• RQ3 Zap Q-학습은 신경망 아키텍처와 하이퍼파rameter의 변화에 대해 얼마나 강인한가?
• RQ4 비선형 함수 근사 하에서 Zap Q-학습의 이론적 안정성 보장 조건은 무엇인가?
• RQ5 학습률이나 네트워크 크기의 정밀한 튜닝 없이도 빠른 수렴을 달성할 수 있는가?

주요 결과

• 비특이성 조건 하에서 비선형 함수 근사와 함께 Zap Q-학습은 표본 및 최적 정지 사례를 초월해 이론적 안정성을 확보한다.
• 다양한 OpenAI Gym 환경에서 네트워크 크기와 아키텍처의 선택에 관계없이 빠르고 강인한 수렴을 보이며, 수렴이 안정적이다.
• 마운틴카, 애크로봇, 카트폴에서의 실험 결과, 큰 네트워크를 사용할 때조차 안정적인 학습 곡선과 빠른 수렴을 관찰했다.
• 정규화된 뉴턴-라프슨 유량을 사용함으로써 오차 항이 지수 감소하는 것을 보여주는 ODE 근사 f(wₜ) = f(w₀)e⁻ᵗ 를 통해 빠른 수렴이 보장된다.
• 주기적인 이득 업데이트를 통해 계산 복잡도를 O(Nd³/Nd + Nd²)로 감소시켜 확장 가능성을 확보했다.
• 다양한 하이퍼파rameter 설정, 특히 ε-그리디 탐색 비율과 단계 크기 규칙의 변화에 관계없이 성능가 유지된다.