[논문 리뷰] Understanding Multi-Step Deep Reinforcement Learning: A Systematic Study of the DQN Target

J. Fernando Hernandez-Garcia, Richard S. Sutton|arXiv (Cornell University)|2019. 01. 22.

Reinforcement Learning in Robotics참고 문헌 4인용 수 41

한 줄 요약

이 논문은 DQN과 유사한 아키텍처 내에서 다단계 RL 타깃들(Retrace, Q-learning, Tree Backup, Sarsa, Q(sigma))을 체계적으로 비교하며, 오프 정책 보정, 백업 길이 n, 그리고 Mountain Car에서의 대상 네트워크 업데이트 주기에 초점을 맞춘다.

ABSTRACT

Multi-step methods such as Retrace($λ$) and $n$-step $Q$-learning have become a crucial component of modern deep reinforcement learning agents. These methods are often evaluated as a part of bigger architectures and their evaluations rarely include enough samples to draw statistically significant conclusions about their performance. This type of methodology makes it difficult to understand how particular algorithmic details of multi-step methods influence learning. In this paper we combine the $n$-step action-value algorithms Retrace, $Q$-learning, Tree Backup, Sarsa, and $Q(σ)$ with an architecture analogous to DQN. We test the performance of all these algorithms in the mountain car environment; this choice of environment allows for faster training times and larger sample sizes. We present statistical analyses on the effects of the off-policy correction, the backup length parameter $n$, and the update frequency of the target network on the performance of these algorithms. Our results show that (1) using off-policy correction can have an adverse effect on the performance of Sarsa and $Q(σ)$; (2) increasing the backup length $n$ consistently improved performance across all the different algorithms; and (3) the performance of Sarsa and $Q$-learning was more robust to the effect of the target network update frequency than the performance of Tree Backup, $Q(σ)$, and Retrace in this particular task.

연구 동기 및 목표

• 오프 폴시 보정이 여러 n-단계 타깃(Retrace, Q-learning, Tree Backup, Sarsa, Q(sigma)) 전반의 학습에 미치는 효과를 평가한다.
• 백업 길이 매개변수 n이 알고리즘 전반의 학습 성능에 미치는 영향을 평가한다.
• 일관된 DQN-유사 아키텍처 내에서 서로 다른 n-단계 타깃의 성능과 강건성을 비교한다.
• 대상 네트워크 업데이트 주기가 진폭이 큰 부트스트래핑 방법의 학습에 어떤 영향을 미치는지 분석한다.
• 다층 에이전트의 다단계 RL 구성 요소 설계에 대한 통찰을 제공한다.

제안 방법

• Retrace, Q-learning, Tree Backup, Sarsa, Q(sigma)에 대한 n-단계 타깃을 DQN-유사 신경망 아키텍처 내에 구현한다.
• 손실을 대상 네트워크를 사용해 계산된 n-단계 수익 G_{t:t+n}으로 두는 손실 l(theta_t) = (G_hat_{t:t+n}(theta^-_t) - q(S_t,A_t; theta_t))^2를 사용한다.
• 적합도 샘플링 비율과 sigma 매개변수를 적용가능한 경우 처리하도록 경험 재생을 조정한다.
• 고정된 네트워크 아키텍처, RMSprop 옵티마이저, 일반적인 DQN 하이퍼파라미터(학습률 0.00025, 재생 버퍼 크기 20,000, 배치 크기 32)를 사용하여 Mountain Car 환경에서 평가한다.
• 오프 폴시 보정, n을 {1,3,5,10,20}, 대상 네트워크 업데이트 주기(예: 500, 1000, 2000)를 변화시키는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 오프 폴시 보정의 적용이 Sarsa, Q(sigma), Retrace, Tree Backup, Q-learning 간 최종 및 초기 학습 성능에 어떤 영향을 미치는가?
• RQ2 이 다단계 타깃에 대해 백업 길이 n이 편향/분산 및 전체 학습 성능에 미치는 영향은 무엇인가?
• RQ3 대상 네트워크 업데이트 주기의 빈도가 부트스트래핑에 크게 의존하는 알고리즘에 어떤 영향을 미치는가?
• RQ4 이 설정에서 Sarsa와 Q-learning이 오프 폴시 보정 및 대상 네트워크 동역학에 얼마나 강건한가?

주요 결과

• 오프 폴시 보정은 Naive하게 사용될 때 최종/전반적 성능을 저해할 수 있지만, 초기 성능은 개선할 수 있다.
• 백업 길이 n을 늘리는 것은 일반적으로 알고리즘의 성능을 개선하며, 큰 n은 초기 성능에서 눈에 띄는 이점을 준다.
• 부트스트래핑에 더 의존하는 알고리즘(Tree Backup, Retrace, Q(sigma))은 대상 네트워크 업데이트 주기에 대해 Sarsa와 Q-learning보다 민감하다.
• 오프 폴시 보정의 사용 여부나 대상 네트워크 업데이트 전략은 문제에 따라 다를 수 있으며, 초기 오프 폴시 이점을 활용하는 혼합 전략이 도움이 될 수 있다.
• 통합적이고 제어된 연구는 대상 정의가 가치 추정의 편향, 분산, 수렴 속도 및 안정성에 깊은 영향을 준다는 것을 확인한다.