[논문 리뷰] On the Reduction of Variance and Overestimation of Deep Q-Learning

Mohammed Sabry, Amr M. A. Khalifa|arXiv (Cornell University)|2019. 10. 14.

Face and Expression Recognition참고 문헌 24인용 수 7

한 줄 요약

이 논문은 딥 Q-네트워크(DQN)에 드롭아웃 정규화를 통합하여 Q-값 예측의 분산과 과대평가를 줄이는 것을 제안한다. 학습 중 드롭아웃을 적용함으로써 학습이 안정화되고, 정책 성능의 분산이 감소하며, 과대평가가 감소함을 입증하였다. 이는 CartPole 및 그리드월드와 같은 벤치마크 환경에서 안정성 향상과 표준편차 감소를 통해 확인되었다.

ABSTRACT

The breakthrough of deep Q-Learning on different types of environments revolutionized the algorithmic design of Reinforcement Learning to introduce more stable and robust algorithms, to that end many extensions to deep Q-Learning algorithm have been proposed to reduce the variance of the target values and the overestimation phenomena. In this paper, we examine new methodology to solve these issues, we propose using Dropout techniques on deep Q-Learning algorithm as a way to reduce variance and overestimation. We also present experiments conducted on benchmark environments, demonstrating the effectiveness of our methodology in enhancing stability and reducing both variance and overestimation in model performance.

연구 동기 및 목표

• 학습 안정성과 성능을 저해하는 딥 Q-학습(DQN)에서 지속적인 분산과 과대평가 문제를 해결하기 위해.
• 보통 감독 학습에서 사용되는 드롭아웃 정규화가 강화학습에서 이러한 문제를 완화할 수 있는지 조사하기 위해.
• 다양한 드롭아웃 변종의 효과를 실증적으로 평가하여 DQN 학습의 안정성 향상과 행동가치 과대평가 감소에 기여하는지 확인하기 위해.
• 드롭아웃이 네트워크 아키텍처 변경 없이도 DQN 성능 향상에 간단하면서도 효과적인 정규화 기법이 될 수 있음을 보여주기 위해.
• 복잡한 강화학습 환경에서 더 넓은 적용 가능성을 위해 드롭아웃을 다른 DQN 변종과 조합할 잠재력을 탐색하기 위해.

제안 방법

• 표준 DQN 아키텍처의 완전히 연결된 층 사이에 드롭아웃 레이어를 적용하였으며, 특히 입력층과 첫 번째 은닉층 사이, 그리고 두 번째 은닉층 사이에 적용하였다.
• 원래 DQN 논문의 권고에 따라 은닉층에는 드롭아웃 비율 0.5를, 입력층에는 0.2를 사용하였다.
• 학습 중 DQN 손실 함수를 최소화하기 위해 ADAM 옵timizer를 사용하였으며, 표준 DQN 학습 절차와 일관성을 유지하였다.
• 분산과 과대평가에 미치는 영향을 비교하기 위해 가우시안 드롭아웃과 변동형 드롭아웃 등의 다양한 드롭아웃 변종을 평가하였다.
• 통계적 신뢰성을 확보하기 위해 50회의 독립적인 시도를 통해 밴치마크 환경(CartPole 및 Gridworld)에서 모델을 학습시켰다.
• 성능 향상과 분산 감소의 통계적 유의성을 평가하기 위해 윌코크슨 부호 순위 검정을 사용하였다.

실험 결과

연구 질문

• RQ1 드롭아웃 기법이 DQN 학습 중 Q-값 추정의 분산을 효과적으로 줄일 수 있는가?
• RQ2 드롭아웃을 적용하면 DQN에서 행동가치 과대평가가 측정 가능한 정도로 감소하는가?
• RQ3 다양한 드롭아웃 변종(Gaussian, Variational 등)은 환경 간 DQN 성능 안정성 향상에 어떻게 비교되는가?
• RQ4 핵심 알고리즘 또는 네트워크 아키텍처를 수정하지 않고도 드롭아웃이 DQN의 수렴성과 안정성을 향상시킬 수 있는가?
• RQ5 여러 학습 실행 동안 드롭아웃으로 인한 성능 향상은 통계적으로 유의한가?

주요 결과

• 드롭아웃-DQN은 성능 분산을 크게 줄였으며, 가우시안 드롭아웃을 사용한 경우 표준 DQN 대비 표준편차가 14.72% 감소하였다.
• 변동형 드롭아웃은 표준 DQN 대비 분산을 48.89% 감소시켜 학습 안정성 향상에 강력한 통계적 개선을 보였다.
• 드롭아웃-DQN의 한 변종이 표준 DQN보다 누적 보상에서 뛰어난 성능을 보이며, 더 나은 정책 학습을 보였다.
• 그리드월드 환경에서 드롭아웃-DQN은 과대평가가 감소하여 예측된 Q-값이 최적 정책의 진짜 값에 더 가까워졌다.
• 드롭아웃-DQN의 손실 곡선은 표준 DQN보다 더 빨리 수렴하고 낮은 수준을 유지하여, 더 정확한 기울기 추정과 더 나은 정책 평가를 의미한다.
• 윌코크슨 부호 순위 검정을 통한 통계 분석 결과, 모든 테스트 환경에서 분산 감소가 통계적으로 유의미하다(p < 0.05)는 것이 확인되었다.