[논문 리뷰] Investigating Recurrence and Eligibility Traces in Deep Q-Networks

Jean Harb, Doina Precup|arXiv (Cornell University)|2017. 04. 18.

Reinforcement Learning in Robotics참고 문헌 13인용 수 6

한 줄 요약

이 논문은 Atari 환경에서 강화학습을 위한 딥 Q네트워크(DQN)에 유eligibility trace와 순환신경망(RNN)을 통합하는 것을 조사한다. RNN과 eligibility trace를 결합하면 학습 안정성과 샘플 효율성이 크게 향상되며, 특히 보상이 희박하고 부분관측 가능한 게임인 Pong과 Tennis에서 두드러진다. Adam 최적화 기법은 수렴 속도를 가속화하고 RMSprop를 능가한다.

ABSTRACT

Eligibility traces in reinforcement learning are used as a bias-variance trade-off and can often speed up training time by propagating knowledge back over time-steps in a single update. We investigate the use of eligibility traces in combination with recurrent networks in the Atari domain. We illustrate the benefits of both recurrent nets and eligibility traces in some Atari games, and highlight also the importance of the optimization used in the training.

연구 동기 및 목표

• 유eligibility trace를 순환망과 결합한 딥 강화학습의 효과성을 조사하는 것.
• RMSprop와 Adam과 같은 최적화 알고리즘이 RNN 기반 DQN의 학습 성능에 미치는 영향을 평가하는 것.
• Atari 게임과 같은 부분관측 가능하고 보상이 희박한 환경에서의 과제를 다루는 것.
• 유eligibility trace가 순환 DQN 아키텍처에서 학습을 안정화하고 수렴 속도를 가속화할 수 있는지 확인하는 것.
• 여러 개의 Atari 게임에서 RNN 기반 에이전트가 유eligibility trace를 사용하는지 여부에 따라 성능을 비교하는 것.

제안 방법

• 과거 관측의 기억과 맥락을 제공하기 위해 순환신경망(RNN)을 사용하여 부분관측 환경에서 더 나은 신용 할당을 가능하게 한다.
• TD 오차를 여러 타임스텝에 걸쳐 전파하기 위해 유eligibility trace(λ=0.8)를 적용하여 시간적 신용 할당을 향상시킨다.
• Q(λ) 학습을 사용하며, 이는 n단계 리턴과 λ를 통한 지수가중을 조합한 부트스트랩 알고리즘으로 편향과 분산을 균형 잡는다.
• 경험 재생과 확률적 경사하강법을 사용하여 RMSprop 및 Adam 최적화기로 에이전트를 훈련시킨다.
• 이론적 기반을 확보하기 위해 유eligibility trace의 전방 시각을 사용하지만, 실무 구현에선 후방 시각을 활용한다.
• Atari 2600 게임에서 성능을 평가하며, 특히 Pong과 Tennis를 중심으로 테스트 점수와 수렴 속도를 측정한다.

실험 결과

연구 질문

• RQ1 DQN에서 순환망과 결합된 유eligibility trace가 학습 성능에 미치는 영향은 무엇인가?
• RQ2 RMSprop 대비 Adam과 같은 다른 최적화 알고리즘이 RNN 기반 DQN의 학습 안정성과 수렴 속도에 미치는 영향은 무엇인가?
• RQ3 RNN에 유eligibility trace를 적용하면 표준 DQN이 보상이 희박한 환경(예: Tennis, Pong)에서 겪는 한계를 극복할 수 있는가?
• RQ4 왜 DQN 에이전트는 Tennis에서 최적 정책을 학습하지 못하는가? 그리고 RNN에 유eligibility trace를 적용하면 어떻게 이를 해결하는가?
• RQ5 학습률과 최적화기의 선택이 순환 DQN 모델에서 유eligibility trace의 효과성에 어떻게 영향을 미치는가?

주요 결과

• RNN에 유eligibility trace를 적용한 모델는 Adam으로 훈련했을 때 13 에포크 만에 Tennis에서 near-optimal 점수를 기록했으며, 표준 DQN과 유eligibility trace가 없는 RNN보다 뛰어난 성능을 보였다.
• RMSprop와 학습률 0.00025를 사용했을 때, 유eligibility trace가 없는 RNN은 45 에포크 만에 점수 20에 도달했지만, 유eligibility trace가 있는 모델는 62 에포크가 걸려 수렴 속도가 더 느렸다. 이는 이 최적화기에서는 더 느린 수렴을 의미한다.
• RMSprop를 사용하고 학습률을 0.001로 높였을 때, 유eligibility trace가 있는 RNN은 27 에포크 만에 20점에 도달했지만, 유eligibility trace가 없는 모델는 0점 이하에 머물렀다.
• Adam 최적화는 RNN에 유eligibility trace를 적용한 모델이 단 13 에포크 만에 최적 성능을 달성하도록 해, 강력한 수렴 가속 효과를 입증했다.
• 유eligibility trace가 없는 모델는 불안정성을 보였으며, 승리할 수 있게 학습한 후에 갑자기 열등한 '지연' 정책으로 돌아가는 경우가 있었다. 반면, 유eligibility trace가 있는 모델는 안정성을 유지했다.
• 표준 DQN은 Tennis에서 점수 0을 초과하지 못했으며, 보상이 지연되고 희박하기 때문에 공을 주고받기만 하는 루프에 갇혀 있었다.