[논문 리뷰] Shallow Updates for Deep Reinforcement Learning

Nir Levine, Tom Zahavy외 3명|arXiv (Cornell University)|2017. 05. 21.

Reinforcement Learning in Robotics참고 문헌 30인용 수 10

한 줄 요약

이 논문은 배치 최소 제곱법 업데이트와 베이지안 정규화를 사용하여 딥 Q네트워크의 최종 레이어를 주기적으로 재학습하는 하이브리드 딥 강화학습 방법인 LS-DQN을 제안한다. 이 방법은 대용량 배치 최소 제곱 최적화를 통해 표준 DQN 및 더블 DQN보다 성능을 크게 향상시키며, 성능 향상의 핵심 요소는 최종 레이어에서의 대용량 업데이트의 안정성과 데이터 효율성으로 기인된다.

ABSTRACT

Deep reinforcement learning (DRL) methods such as the Deep Q-Network (DQN) have achieved state-of-the-art results in a variety of challenging, high-dimensional domains. This success is mainly attributed to the power of deep neural networks to learn rich domain representations for approximating the value function or policy. Batch reinforcement learning methods with linear representations, on the other hand, are more stable and require less hyper parameter tuning. Yet, substantial feature engineering is necessary to achieve good results. In this work we propose a hybrid approach -- the Least Squares Deep Q-Network (LS-DQN), which combines rich feature representations learned by a DRL algorithm with the stability of a linear least squares method. We do this by periodically re-training the last hidden layer of a DRL network with a batch least squares update. Key to our approach is a Bayesian regularization term for the least squares update, which prevents over-fitting to the more recent data. We tested LS-DQN on five Atari games and demonstrate significant improvement over vanilla DQN and Double-DQN. We also investigated the reasons for the superior performance of our method. Interestingly, we found that the performance improvement can be attributed to the large batch size used by the LS method when optimizing the last layer.

연구 동기 및 목표

• 온라인 딥 Q학습의 불안정성과 하이퍼파라미터 민감성 문제를 해결하기 위해 안정적인 배치 방법을 통합한다.
• 심층 네트워크를 활용하여 특징 추출을 자동화함으로써 얕은 RL 방법의 특징 엔지니어링에 의존하는 한계를 극복한다.
• 심층 네트워크의 표현력 있는 특징 학습 능력과 최소 제곱 시간 차분 방법의 데이터 효율성 및 안정성 특성을 결합한 하이브리드 프레임워크를 개발한다.
• 대용량 배치 최소 제곱 업데이트가 최종 레이어에 적용될 경우 딥 RL 성능 향상에 기여할 수 있는지 조사한다. 이는 일반적으로 대용량 배치가 일반화 성능을 떨어뜨린다고 여겨지는 관념에 도전한다.

제안 방법

• 심층 Q네트워크를 사용하여 컨볼루션 및 완전 연결 레이어를 통해 풍부한 상태 표현을 추출한다.
• 온라인 DRL 학습 중에 수집된 경험 재생 데이터를 기반으로, 주기적으로 최종 완전 연결 레이어만 배치 최소 제곱법(LS) 업데이트를 통해 재학습한다.
• LS 업데이트에 베이지안 정규화 항을 적용하여 현재 DRL 정책 가중치를 사전으로 사용함으로써 최근 데이터에 대한 과적합을 방지한다.
• 네트워크의 사전 학습된 하위 레이어를 그대로 유지하여 학습된 특징를 보존하면서 최종 레이어만 LS로 최적화한다.
• 온라인 DQN 업데이트와 주기적인 최종 레이어 LS 업데이트를 번갈아가며 적용함으로써, 소용량 배치 온라인 학습과 대용량 배치 배치 학습을 효과적으로 융합한다.
• 대용량 경험 재생 버퍼를 유지하여 대용량 배치 LS 최적화를 가능하게 하며, 이는 안정성 향상과 수렴성 향상에 기여한다.

실험 결과

연구 질문

• RQ1 딥 표현 학습과 배치 최소 제곱 RL을 융합한 방법이 표준 DQN에 비해 아타리 게임에서 성능 향상에 기여하는가?
• RQ2 심층 네트워크의 최종 레이어에서 대용량 배치 LS 업데이트가 소용량 배치 온라인 업데이트보다 더 나은 일반화 성능과 안정성을 제공하는가?
• RQ3 딥 RL 환경에서 최종 레이어의 LS 업데이트 중 과적합을 방지하기 위해 베이지안 정규화가 수행하는 역할은 무엇인가?
• RQ4 하이브리드 LS-DQN 방법이 표준 DQN 및 더블 DQN을 초월하는 이유는 무엇이며, 성능 향상의 핵심 요소는 무엇인가?
• RQ5 LS 업데이트에서 성능 향상의 원인이 함수 근사기의 선택이나 정규화 방식이 아니라 대용량 배치 크기 때문인가?

주요 결과

• LS-DQN은 다섯 종류의 아타리 게임에서 바닐라 DQN 및 더블 DQN에 비해 뚜렷한 성능 향상을 보이며, 인간 정규화 점수에서 일관된 개선을 기록한다.
• 성능 향상의 주요 원인은 베이지안 정규화나 하이브리드 아키텍처 자체가 아니라 최종 레이어에서의 대용량 배치 최소 제곱 업데이트이다.
• LS 업데이트에 사용된 대용량 배치 크기는 표준 DQN에서의 소용량 배치 SGD에 비해 더 안정적이고 일반화 가능한 가중치 업데이트를 이끈다.
• 이 방법은 심층 네트워크의 표현력 있는 특징 표현을 유지하면서도, LS 기반 배치 방법의 데이터 효율성 및 수렴 보장 특성을 동시에 확보한다.
• 베이지안 정규화 항은 LS 업데이트 중 최근 경험에 대한 과적합을 효과적으로 방지하여 안정성을 향상시킨다.
• 결과는 DRL 및 SRL 방법의 다양한 조합에서도 일관되게 나타나 하이브리드 접근법의 일반화 가능성과 타당성을 입증한다.