[논문 리뷰] Theory of Deep Q-Learning: A Dynamical Systems Perspective.

Arunselvan Ramaswamy|arXiv (Cornell University)|2020. 08. 25.

Reinforcement Learning in Robotics참고 문헌 17인용 수 7

한 줄 요약

이 논문은 현실적인 가정 하에서 딥 Q-러닝의 동적 시스템 프레임워크를 제시하여, 훈련을 측도 과정으로 모델링하고, 그 극한이 장기 성능을 결정함을 분석한다. 이는 경험 재생의 이점과 훈련의 일관성 부족과 같은 경험적 현상을, 이 측도 과정의 수렴을 통해 알고리즘의 행동을 특성화함으로써 설명하며, 다수의 정적 분포를 가진 마르코프 과정에 일반적으로 적용 가능한 이론을 제공한다.

ABSTRACT

Deep Q-Learning is an important algorithm, used to solve sequential decision making problems. It involves training a Deep Neural Network, called a Deep Q-Network (DQN), to approximate a function associated with optimal decision making, the Q-function. Although wildly successful in laboratory conditions, serious gaps between theory and practice prevent its use in the real-world. In this paper, we present a comprehensive analysis of the popular and practical version of the algorithm, under realistic verifiable assumptions. An important contribution is the characterization of its performance as a function of training. To do this, we view the algorithm as an evolving dynamical system. This facilitates associating a closely-related measure process with training. Then, the long-term behavior of Deep Q-Learning is determined by the limit of the aforementioned measure process. Empirical inferences, such as the qualitative advantage of using experience replay, and performance inconsistencies even after training, are explained using our analysis. Also, our theory is general and accommodates state Markov processes with multiple stationary distributions.

연구 동기 및 목표

• 이론과 실천 사이의 격차를 해소하기 위해 현실적이고 검증 가능한 가정 하에서 딥 Q-러닝의 훈련 동역학을 분석하는 것.
• 경험 재생의 성능 우월성과 후속 훈련에서의 성능 일관성 부족과 같은 지속적인 경험적 현상을 설명하는 것.
• 다수의 정적 분포를 가진 마르코프 결정 과정에 일반적으로 적용 가능한 이론적 프레임워크를 개발하는 것.
• 훈련 중에 관련된 측도 과정의 극한을 연구하여 딥 Q-러닝의 장기적 행동을 특성화하는 것.

제안 방법

• 딥 Q-러닝을 상태와 행동의 분포가 훈련 내내 변화하는 동적 시스템으로 모델링하는 것.
• 학습 경로의 통계적 행동을 시간에 따라 포착하는 밀도 과정을 도입하는 것.
• 이 측도 과정의 극한을 연구하여 알고리즘의 장기적 행동을 분석하고, Q-함수 근사의 수렴과 연결하는 것.
• 측도 과정을 통해 경험 재생이 훈련 데이터의 분포를 안정화시켜 성능 향상을 이룬다는 이유를 설명하는 것.
• 기저 마르코프 과정에 다수의 정적 분포가 존재하는 상황에서도 알고리즘이 수렴할 수 있는 이론적 조건을 설정하는 것.
• 확률 과정 이론과 동역학 시스템 이론의 도구를 사용하여 훈련 동역학과 최종 성능 간의 관계를 수리적으로 형식화하는 것.

실험 결과

연구 질문

• RQ1 딥 Q-러닝의 장기적 성능는 훈련 과정의 변화에 어떻게 의존하는가?
• RQ2 왜 경험 재생은 실무에서 일관되게 성능을 향상시키며, 이는 이론적으로 어떻게 설명될 수 있는가?
• RQ3 딥 Q-러닝에서 광범위한 훈련 후에도 관찰되는 성능의 일관성 부족은 무엇에 기인하는가?
• RQ4 딥 Q-러닝의 이론적 분석은 다수의 정적 분포를 가진 마르코프 과정으로 확장될 수 있는가?
• RQ5 딥 Q-러닝의 훈련 동역학은 어떻게 측도 과정을 사용하여 수식화되어 수렴 행동을 예측할 수 있는가?

주요 결과

• 딥 Q-러닝의 장기적 행동은 훈련 중 상태와 행동의 분포를 추적하는 관련 측도 과정의 극한에 의해 결정된다.
• 이론적 프레임워크는 경험 재생의 정성적 이점을 설명하며, 훈련 분포를 안정화시켜 더 예측 가능한 수렴을 이끌어내기 때문에 이를 보여준다.
• 훈련 후 성능의 일관성 부족은 측도 과정의 유일하지 않은 극한에 기인하며, 여러 가능한 수렴 상태가 존재함을 시사한다.
• 이 이론은 다수의 정적 분포를 가진 상태 마르코프 과정을 수용할 수 있으며, 이전 분석에서 유일한 정적 행동을 가정한 바를 넘어서는 것이다.
• 훈련 동역학과 최종 정책 품질 간의 공식적 연결을 제공하여, 알고리즘의 안정성과 수렴성을 평가하는 원칙적인 방법을 제시한다.