[논문 리뷰] A Theoretical Analysis of Deep Q-Learning

Jianqing Fan, Zhaoran Wang외 2명|arXiv (Cornell University)|2019. 01. 01.

Reinforcement Learning in Robotics참고 문헌 143인용 수 131

한 줄 요약

이 논문은 Deep Q-Networks (DQN)의 단순화 버전에 대한 최초의 이론적 수렴 분석을 제공하고, 알고리즘적 및 통계적 속도를 도출하며 프레임워크를 제로합 마르코프 게임에서의 Minimax-DQN으로 확장한다.

ABSTRACT

Despite the great empirical success of deep reinforcement learning, its theoretical foundation is less well understood. In this work, we make the first attempt to theoretically understand the deep Q-network (DQN) algorithm (Mnih et al., 2015) from both algorithmic and statistical perspectives. In specific, we focus on a slight simplification of DQN that fully captures its key features. Under mild assumptions, we establish the algorithmic and statistical rates of convergence for the action-value functions of the iterative policy sequence obtained by DQN. In particular, the statistical error characterizes the bias and variance that arise from approximating the action-value function using deep neural network, while the algorithmic error converges to zero at a geometric rate. As a byproduct, our analysis provides justifications for the techniques of experience replay and target network, which are crucial to the empirical success of DQN. Furthermore, as a simple extension of DQN, we propose the Minimax-DQN algorithm for zero-sum Markov game with two players. Borrowing the analysis of DQN, we also quantify the difference between the policies obtained by Minimax-DQN and the Nash equilibrium of the Markov game in terms of both the algorithmic and statistical rates of convergence.

연구 동기 및 목표

• 딥 Q-러닝(DQN)의 이론적 이해가 경험적 성공을 넘어서 필요함을 동기 부여한다.
• 경험 재생과 타깃 네트워크와 같은 핵심 특징을 유지하면서 다루기 쉬운 DQN의 단순화를 분석한다.
• 신경망 근사 하에서 행동-가치 함수의 알고리즘적(수렴) 및 통계적(편향-분산) 속도를 확립한다.
• 경험 재생과 타깃 네트워크와 같은 기법에 대한 이론적 타당성을 제공한다.
• 두 명의 플레이어 간의 제로합 마르코프 게임에 대한 Minimax-DQN 알고리즘으로 프레임워크를 확장하고 하위최적화 및 수렴을 정량화한다.

제안 방법

• 신경망-FQI를 ReLU 네트워크와 대형 배치(largе-batch) 분위기에서의 DQN으로 모델링한다.
• 경험 재생을 단순화하기 위해 독립성 가정을 도입하여 i.i.d. 샘플링에 비슷하게 만든다.
• 희소한 ReLU 네트워크로 가치 함수를 표현하고 네트워크 희소성을 통해 용량을 상한한다.
• 알고리즘적 오차가 기하급수적으로 제로로 수렴하는 것을 확립하고, 신경망 근사로 인한 통계적 오차를 특징지운다.
• 허들-스무스함(Hölder) 연속성과 구성 결과를 활용해 신경망을 이용한 벨만 연산자의 근사 오차를 분석한다.
• 제로합 마르코프 게임에서 Nash 균형 타깃을 풀고 하위최적화를 바운딩하여 Minimax-DQN 분석을 확장한다.

실험 결과

연구 질문

• RQ1 트랙터블하고 이론적으로 분석 가능한 설정에서 DQN의 알고리즘적 및 통계적 수렴 특성은 어떠한가?
• RQ2 경험 재생과 타깃 네트워크가 이론적 관점에서 DQN의 안정성과 수렴에 어떻게 기여하는가?
• RQ3 DQN 프레임워크를 제로합 마르코프 게임으로 확장할 수 있으며, 수렴 및 하위최적화 보장은 무엇인가?
• RQ4 희소한 ReLU 네트워크와 Hölder 연속성이 신경망-FQI의 수렴 속도에 미치는 영향은 무엇인가?
• RQ5 신경망- FQI 분석이 심층 네트워크로 근사될 때 벨만 연산자의 해석에 어떤 영향을 주는가?

주요 결과

• ReLU 네트워크를 사용하는 신경망 FQI 알고리즘은 알고리즘적 오차에서 기하적으로 수렴하여 최적의 Q-함수에 수렴하고, 신경망 근사 및 유한 샘플로 인한 통계적 오차를 따른다.
• 경험 재생과 타깃 네트워크는 회귀 목적함수를 벨만 최적성과 일치시키는 안정화 구성요소로 이론적으로 정당화된다.
• 통계적 오차는 유한 데이터와 네트워크 용량 하에서 최적 Q*를 신경망으로 근사할 때의 편향과 분산을 포착한다.
• 완만한 가정하에 Q_K 시퀀스가 추정하는 행동-가치 함수는 ReLU 네트워크 근사 능력과 샘플 크기에 의해 결정되는 고유한 오차까지 수렴한다.
• 두 명의 플레이어 간 제로합 마르코프 게임에 대한 Minimax-DQN 확장은 유사한 알고리즘적 및 통계적 수렴 속도를 보이며 Nash 균형 정책에 대한 하위최적화를 한정한다.