[논문 리뷰] Modern Deep Reinforcement Learning Algorithms

Sergey Ivanov, A. G. D’yakonov|arXiv (Cornell University)|2019. 06. 24.

Reinforcement Learning in Robotics참고 문헌 22인용 수 15

한 줄 요약

이 논문은 딥 강화학습 알고리즘의 현대적 접근법에 대한 종합적인 리뷰를 제공하며, Deep Q-Network (DQN) 및 그 확장 기법인 Double DQN, Dueling DQN, Noisy DQN, Prioritized Experience Replay, Multi-step DQN와 같은 가치 기반 방법을 중심으로 다룹니다. 또한 Categorical DQN와 QR-DQN와 같은 분포 기반 접근법도 포함합니다. Atari 게임, 특히 Pong에서의 실험을 통해 Proximal Policy Optimization (PPO)가 최소한의 초모수 조정으로 1시간 이내에 최신 성능을 달성하는 것을 입증하였으며, Rainbow DQN는 더 느리지만 여러 개선 사항을 통합하여 안정성과 샘플 효율성을 향상시킵니다.

ABSTRACT

Recent advances in Reinforcement Learning, grounded on combining classical theoretical results with Deep Learning paradigm, led to breakthroughs in many artificial intelligence tasks and gave birth to Deep Reinforcement Learning (DRL) as a field of research. In this work latest DRL algorithms are reviewed with a focus on their theoretical justification, practical limitations and observed empirical properties.

연구 동기 및 목표

• 현대 딥 강화학습 알고리즘의 이론적 기초와 실용적 구현을 체계적으로 리뷰하고 분석하는 것.
• 우선순위 경험 재생, 분포 기반 학습, 노이즈 주입 등의 핵심 알고리즘 개선 사항이 샘플 효율성과 훈련 안정성에 미치는 영향을 평가하는 것.
• Atari 게임과 같은 표준 벤치마크에서 가치 기반 방법과 정책 기반 강화학습 방법 간의 계산 비용, 초모수 민감도, 성능 측면에서의 비교.
• Rainbow DQN가 예시로 제시되는 바와 같이, 여러 DQN 개선 사항을 하나의 파이프라인에 통합하는 것이 실제로 얼마나 효과적인지 조사하는 것.
• 현대 DRL 시스템에서 훈련 속도, 성능, 알고리즘 복잡도 간의 상호 상충 관계를 평가하는 것.

제안 방법

• 가치 함수, 벨먼 방정식, 정책 기반 강화학습 정리 등의 고전적 강화학습 기초를 리뷰한다.
• Deep Q-Network (DQN) 기반의 가치 기반 알고리즘을 제시하며, 주요 개선 사항으로는 과도한 추정을 줄이는 Double DQN, 상태가치와 이득을 분해하는 Dueling DQN, 파rameter 노이즈를 통한 탐색을 위한 Noisy DQN을 포함한다.
• Categorical DQN(수익 분포 학습)과 QR-DQN(분위수 회귀 사용)을 통한 분포 기반 강화학습을 소개하며, 이는 가치 추정 정확도 향상에 기여한다.
• 우선순위 경험 재생을 통해 영향력이 큰 전이에 집중하고, 다단계 시간 차분 학습을 통해 더 정확한 수익을 도출한다.
• 일반화된 이득 추정(GAE)과 신뢰 영역 최적화 원리를 정책 기반 강화학습에 적용하며, 클리핑 기반 정책 업데이트를 갖는 PPO로 이어진다.
• 벽시계 시간과 상호작용 스텝 수를 기준으로 Pong 환경에서 통제된 실험을 수행하여 알고리즘 간의 훈련 동역학과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 Double DQN, Dueling DQN, 우선순위 경험 재생 등의 개별 DQN 개선 사항이 Atari 게임에서 샘플 효율성과 최종 성능에 어떤 기여를 하는가?
• RQ2 표준 DQN에 비해 분포 기반 강화학습(Categorical DQN, QR-DQN)이 학습 안정성과 최종 에이전트 성능에 미치는 경험적 영향은 무엇인가?
• RQ3 A2C와 PPO와 같은 정책 기반 강화학습 방법이 가치 기반 방법에 비해 훈련 속도, 샘플 효율성, 초모수 설정 민감도 측면에서 어떻게 비교되는가?
• RQ4 Rainbow DQN에서 여러 DQN 개선 사항을 통합함으로써 성능 향상이 이루어지는 이유는 무엇인가, 비록 계산 비용이 증가하더라도 말이다?
• RQ5 노이즈 생성, 우선순위 경험 재생 등의 히우리스틱 구성 요소가 훈련 안정성 향상에 얼마나 기여하는가, 이는 이론적으로 타당한가?

주요 결과

• Proximal Policy Optimization (PPO)는 초모수 조정 없이도 벽시계 시간 약 30분 내에 Pong에서 인간 수준의 성능을 달성하였으며, 훈련 속도 측면에서 가치 기반 방법을 능가하였다.
• 모든 주요 DQN 개선 사항을 통합한 Rainbow DQN는 Pong에서 가장 높은 최종 성능를 기록하였지만, 3.5시간 이상의 훈련 시간이 소요되어 극히 미미한 성능 향상에 비해 상당한 계산 비용이 수반됨을 시사한다.
• 분포 기반 접근법(Categorical DQN 및 QR-DQN)은 표준 DQN에 비해 샘플 효율성과 최종 성능 향상을 이끌었지만, 이 개선의 이론적 이유는 아직 명확하지 않다.
• 경험 재생이 없음에도 불구하고 PPO는 DQN 기반 방법보다 더 효과적인 정책 기반 강화학습 기울기를 생성하였으며, 이는 재생 메모리가 많은 경우에 재귀적이거나 정보가 부족한 전이를 포함할 수 있음을 시사한다.
• Rainbow DQN에서 우선순위 경험 재생과 노이즈 주입이 훈련 과정의 안정성을 저하시켜, 성능 향상과 훈련 일관성 간의 잠재적 상충 관계를 보여주었다.
• 훈련 곡선을 분석한 결과, 가속화 기법(A2C 또는 PPO 사용)이 기존의 DQN 및 Rainbow에 비해 벽시계 시간을 크게 단축시키며, 평가된 알고리즘 중 PPO가 가장 빠른 편이었다.