[논문 리뷰] Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih, Koray Kavukcuoglu외 5명|arXiv (Cornell University)|2013. 12. 19.

Reinforcement Learning in Robotics참고 문헌 29인용 수 5,113

한 줄 요약

이 논문은 원시 픽셀 입력에서 경험 재생과 Q-learning 변형을 사용해 Atari 2600 게임을 학습하는 심층 Q-네트워크(DQN)를 제시하며, 대부분의 게임에서 최첨단 결과를 달성한다.

ABSTRACT

We present the first deep learning model to successfully learn control policies directly from high-dimensional sensory input using reinforcement learning. The model is a convolutional neural network, trained with a variant of Q-learning, whose input is raw pixels and whose output is a value function estimating future rewards. We apply our method to seven Atari 2600 games from the Arcade Learning Environment, with no adjustment of the architecture or learning algorithm. We find that it outperforms all previous approaches on six of the games and surpasses a human expert on three of them.

연구 동기 및 목표

• 고차원 시각 입력에서 직접 제어 정책을 학습할 수 있는 심층 합성곱 신경망을 입증한다.
• 원시 픽셀에서의 강화 학습을 위한 경험 재현을 포함한 심층 Q-learning 알고리즘을 개발하고 안정화한다.
• 하나의 아키텍처로 여러 Atari 2600 게임에 걸쳐 평가하고, 게임별 엔지니어링 없이 수행한다.
• 해당 방법이 선행 RL 방법을 능가하고 여러 게임에서 인간 성능에 근접하거나 이를 능가한다는 것을 보여준다.

제안 방법

• 원시 화면 프레임에서 Q(s,a;θ)로 표상되는 행동 가치 함수 Q를 근사하기 위해 컨볼루션 신경망(Q-네트워크)을 사용한다.
• 대상 y = r + γ max_a' Q(s',a';θ−) 를 갖는 Q-learning의 변형을 적용하고 확률적 경사 하강법을 사용한다.
• 대규모 재생 메모리에 전이 (s,a,r,s')를 저장하고 업데이트를 위한 미니배치를 샘플링하여 경험 재현을 도입한다.
• 입력 프레임을 그레이스케일링하고 84x84로 다운샘플링하며, 최근 4 프레임을 네트워크의 입력으로 스택한다.
• 4D 입력 84x84x4를 갖는 아키텍처를 채택하고, 두 개의 합성곱 층(16x8x8, 스트라이드 4; 32x4x4, 스트라이드 2)와 256개 유닛의 완전 연결 층을 두고, 각 동작당 하나의 출력 유닛을 둔다.
• RMSProp으로 학습하고, 엡실론-탐욕 탐사를 사용하며, 학습 효율성을 높이기 위해 프레이음 건너뛰기를 적용한다.

실험 결과

연구 질문

• RQ1 단일 심층 신경망 아키텍처가 원시 픽셀 입력과 보상 신호만으로 다양한 Atari 2600 게임을 학습해 플레이할 수 있는가?
• RQ2 경험 재현을 도입하면 고차원 시각 영역에서 심층 Q-learning의 학습을 안정화하고 데이터 효율성을 높일 수 있는가?
• RQ3 게임 특화 특징 공학 없이도 다양한 게임에서 기존의 RL 방법 및 인간 플레이어에 비해 어떻게 성능을 보이는가?

주요 결과

무작위	Sarsa [3]	콘틴전시 [4]	DQN	인간	HNeat Best [8]	HNeat Pixel [8]	DQN Best
354	1.2	0	-20.4	157	110	179
996	5.2	129	-19	614	665	271
1743	6	159	-17	960	723	268
4092	168	470	20	1952	1705	581
7456	31	368	-3	18900	28010	3690
3616	52	106	19	1800	920	1720
1332	4	91	-16	1325	800	1145
5184	225	661	21	4500	1740	1075

• DQN은 테스트된 일곱 게임 중 여섯 게임에서 이전에 보고된 모든 RL 방법을 능가했다.
• DQN은 일곱 게임 중 세 게임에서 인간 전문가를 능가했다.
• 게임 간에 단일 아키텍처와 하이퍼파라미터를 사용하고 수작업으로 만든 특징 없이도 강력한 성능을 얻었다.
• 경험 재현과 off-policy Q-learning이 RL에서 대형 신경망의 데이터 효율성과 학습 안정성에 기여했다.
• 훈련 진행은 Q값 예측을 통해 모니터링 가능했고, Q값은 에피소드 보상보다 더 부드럽게 상승했다.
• 이 방법은 원시 픽셀 입력으로 직접 학습해 경쟁력 있는 게임 플레이 정책을 생성할 수 있었다.