[논문 리뷰] How to Discount Deep Reinforcement Learning: Towards New Dynamic Strategies

Vincent François-Lavet, Raphaël Fonteneau외 1명|arXiv (Cornell University)|2015. 12. 07.

Reinforcement Learning in Robotics참고 문헌 18인용 수 80

한 줄 요약

이 논문은 딥 Q네트워크(DQN)에서 학습 중에 할인 인자 γ를 동적으로 증가시키고 학습률을 조정하는 방법을 제안하며, 아타리 2600 게임에서 학습 단계를 크게 줄이고 성능을 향상시킨다. 이 방법은 초기에는 단기 보상을 우선시하고 점차 장기 수익을 강조함으로써 안정성과 수렴성을 향상시켜 고정된 초모수를 사용하는 표준 DQN을 능가한다.

ABSTRACT

Using deep neural nets as function approximator for reinforcement learning tasks have recently been shown to be very powerful for solving problems approaching real-world complexity. Using these results as a benchmark, we discuss the role that the discount factor may play in the quality of the learning process of a deep Q-network (DQN). When the discount factor progressively increases up to its final value, we empirically show that it is possible to significantly reduce the number of learning steps. When used in conjunction with a varying learning rate, we empirically show that it outperforms original DQN on several experiments. We relate this phenomenon with the instabilities of neural networks when they are used in an approximate Dynamic Programming setting. We also describe the possibility to fall within a local optimum during the learning process, thus connecting our discussion with the exploration/exploitation dilemma.

연구 동기 및 목표

• 할인 인자 γ의 동적 조정이 딥 강화학습에서 학습 안정성과 수렴에 미치는 영향을 조사하는 것.
• 학습 중 γ를 수정하여 근사 동적 프rogram밍에서 딥 신경망의 불안정성을 해결하는 것.
• DQN이 아타리 2600 게임에서 수렴하기 위해 필요한 학습 단계 수를 줄이는 것.
• γ, 학습률, 탐색 간의 상호작용이 局부 최적해를 극복하는 데 어떻게 기여하는지 탐색하는 것.
• 딥 Q학습에서 적응형 초모수 스케줄링을 위한 프레임워크를 제안하는 것.

제안 방법

• 학습 단계 동안 낮은 초기 값에서 시작하여 최종 값(예: 0.99)으로 점차 증가하는 동적 할인 인자 γ를 도입한다.
• 초기 학습률(α)을 높게 설정하고(예: 0.005), 에포크당 2% 감소시켜 γ가 증가함에 따라 학습 안정성을 확보한다.
• 학습 안정성을 유지하기 위해 수정된 DQN 알고리즘에 경험 재현과 타겟 네트워크 업데이트를 적용한다.
• 학습 단계 k에 대해 γ_k = γ_min + (γ_max - γ_min) * (k / K)와 같은 정의된 스케줄에 따라 γ를 증가시키는 학습 규칙을 구현한다.
• 에이전트가 국부 최적해에 갇힐 경우를 대비해 ε-그리디 액션 선택을 통해 탐색을 적응적으로 조정한다.
• γ, α, ε를 동시에 스케줄링하는 통합된 액터-크리틱 스타일 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 점차 증가하는 할인 인자 γ가 딥 Q네트워크의 수렴 속도와 최종 성능에 개선을 가져올 수 있는가?
• RQ2 γ의 동적 조정이 함수 근사에서 신경망의 불안정성과 어떻게 상호작용하는가?
• RQ3 증가하는 γ와 감소하는 학습률을 함께 사용하면 Q-값 함수 학습에서 더 높은 샘플 효율성과 감소된 과대평가를 달성할 수 있는가?
• RQ4 동적 γ가 탐색을 향상시켜 국부 최적해에서 벗어나도록 도와주는 정도는 어느 정도인가?
• RQ5 γ, α, ε의 적응형 스케줄링이 더 강건하고 효율적인 딥 강화학습 알고리즘을 만들어낼 수 있는가?

주요 결과

• 동적으로 증가하는 할인 인자를 사용함으로써 아타리 2600 게임에서 수렴하기 위해 필요한 학습 단계 수가 고정된 γ = 0.99보다 감소했다.
• 증가하는 γ와 감소하는 학습률의 조합이 모든 6개의 테스트 게임에서 원래 DQN을 능가했으며, 5000만 단계 후 최종 점수 향상이 관찰되었다.
• 낮은 초기 γ 값이 Q-값의 과대평가를 줄였으며, 이는 학습 중 가치 함수 V가 감소하는 것으로 확인되었다.
• 초기 학습 오류에 대한 영향을 줄여 동적 접근이 딥 Q학습의 불안정성을 완화시켰다.
• 고정된 ε-그리디 탐색을 사용한 에이전트들은 국부 최적해에 갇히는 경우가 있었지만, 적응형 탐색 규칙을 통해 벗어나 성능 향상을 이룰 수 있었다.
• 제안된 프레임워크는 γ, α, ε를 함께 스케줄링할 경우 더 안정적이고 효율적인 학습이 가능하다는 것을 보여주었으며, 자동 초모수 적응의 길을 제시한다.