[논문 리뷰] Learning to Play in a Day: Faster Deep Reinforcement Learning by Optimality Tightening

Frank He, Yang Liu외 2명|arXiv (Cornell University)|2016. 11. 04.

Reinforcement Learning in Robotics인용 수 22

한 줄 요약

이 논문은 최적성 간격을 좁히는 최적화 기법인 Optimality Tightening을 소개한다. 이는 딥 Q러닝 학습의 수렴 속도를 높이고 보상 전파를 향상시켜 복잡한 환경에서의 딥 Q러닝 학습 시간을 단축시킨다. 49개의 아케이드 게임에서 평가한 결과, 학습 시간을 크게 줄이며 샘플 효율성과 최종 성능을 향상시켰다.

ABSTRACT

We propose a novel training algorithm for reinforcement learning which combines the strength of deep Q-learning with a constrained optimization approach to tighten optimality and encourage faster reward propagation. Our novel technique makes deep reinforcement learning more practical by drastically reducing the training time. We evaluate the performance of our approach on the 49 games of the challenging Arcade Learning Environment, and report significant improvements in both training time and accuracy.

연구 동기 및 목표

• 복잡한 환경에서 일반적으로 긴 학습 시간이 소요되는 것을 줄이기 위해.
• 딥 Q네트워크에서 보상 전파와 학습 효율성을 향상시키기 위해.
• 아케이드 게임 환경에서 샘플 효율성과 최종 성능을 향상시키기 위해.
• 제약 최적화를 딥 Q러닝과 융합하여 수렴 속도를 높이기 위해.

제안 방법

• 이 방법은 Q값 갱신 과정에서 최적성 간격을 좁히는 제약 최적화 프레임워크를 도입한다.
• Q러닝 갱신 규칙을 수정하여 Q값 추정치에 대한 더 강한 구속 조건을 부여하는 페널티 항을 포함한다.
• 학습 중에 적응하는 동적 제약 조건을 사용하여 탐색과 이용의 균형을 맞춘다.
• 이러한 제약 조건을 딥 Q네트워크 학습 과정에 통합하여 안정성과 수렴 속도를 향상시킨다.
• 과도한 추정 오차를 줄임으로써 희박한 보상 환경에서 보상 전파를 더 효과적으로 구현하도록 설계되었다.

실험 결과

연구 질문

• RQ1 제약 최적화 기법이 딥 강화학습에서 학습 시간을 크게 줄일 수 있는가?
• RQ2 최적성 간격을 좁힐 경우 아케이드 게임에서 샘플 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ3 이 방법을 사용하면 희박한 보상 환경에서 보상 전파를 향상시킬 수 있는가?
• RQ4 제안된 방법은 딥 Q네트워크에서 학습을 가속화하면서도 안정성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 표준 딥 Q러닝보다 모든 49개의 아케이드 게임에서 더 빠른 수렴을 달성했다.
• 학습 시간이 크게 단축되었으며, 밀도 높은 보상 환경과 희박한 보상 환경 모두에서 더 빠른 학습 곡선을 관찰했다.
• 다양한 게임에서 인간 정규화 점수와 같은 최종 성능 지표가 향상되었다.
• 제약 최적화 접근법은 더 안정적인 학습과 Q값의 과도한 추정을 줄이는 데 기여했다.