[논문 리뷰] Neural Episodic Control

Alexander Pritzel, Benigno Uría외 6명|arXiv (Cornell University)|2017. 03. 06.

Reinforcement Learning in Robotics참고 문헌 41인용 수 92

한 줄 요약

NEC는 per-action differentiable neural dictionaries를 사용하여 최근 경험으로부터 Q-values를 저장하고 신속하게 백업하며 Atari 게임에서 여러 딥 RL 기준선보다 데이터 효율 학습이 훨씬 빠르게 이루어집니다.

ABSTRACT

Deep reinforcement learning methods attain super-human performance in a wide range of environments. Such methods are grossly inefficient, often taking orders of magnitudes more data than humans to achieve reasonable performance. We propose Neural Episodic Control: a deep reinforcement learning agent that is able to rapidly assimilate new experiences and act upon them. Our agent uses a semi-tabular representation of the value function: a buffer of past experience containing slowly changing state representations and rapidly updated estimates of the value function. We show across a wide range of environments that our agent learns significantly faster than other state-of-the-art, general purpose deep reinforcement learning agents.

연구 동기 및 목표

• 딥 강화 학습에서 보상 전파와 가치 추정의 속도를 높여 데이터 비효율을 해결한다.
• 느리게 변하는 상태 표현과 빠르게 업데이트되는 가치 추정치를 결합한 반-표(tabular) 메모리를 활용한다.
• episodic memory에 비유되는 append-only 메모리 기반의 Q-함수를 통해 새로운 경험의 빠른 동화를 가능하게 한다.
• 빠른 메모리 업데이트가 N-step 반환과 공유 CNN 임베딩과 상호 작용하여 학습 속도를 개선하는지 조사한다.

제안 방법

• 각 행동마다 (key, value) 쌍을 저장하는 Differentiable Neural Dictionary(DND)를 도입한다.
• 공유 합성곱 신경망으로 상태를 처리하여 각 행동의 DND에서 조회용 키 h를 생성한다.
• 키에 대한 nearest-neighbor 커널을 사용하여 DND의 값들의 가중합으로 Q(s,a)를 검색한다.
• 새로운 (h, Q^(N)(s,a)) 쌍을 해당 행동의 DND에 기록하고, 기존 키는 표 기반 업데이트 방식처럼 Q-learning으로 업데이트한다.
• Q^(N)(s,a)= sum_{j=0}^{N-1} γ^j r_{t+j} + γ^N max_a' Q(s_{t+N}, a')의 N-step Q-learning 타깃을 사용하되, 최댓값은 모든 메모리를 조회하여 구한다.
• mini-batch를 재생 버퍼에서 추출하여 예측된 Q(s,a)와 Q^(N)(s,a) 사이의 L2 손실을 최소화하며 끝-to-end로 학습한다.

실험 결과

연구 질문

• RQ1 메모리 보강된 반-표(tabular) 가치 함수가 Atari와 같은 딥 RL 환경에서 데이터 효율적 학습을 가속할 수 있는가?
• RQ2 빠르게 업데이트되는 메모리(DND)를 각 행동에 추가하는 것이 보상 전파와 학습 속도에 표준 DQN/A3C 기준선 대비 어떤 영향을 미치는가?
• RQ3 N-step Q-learning과 differentiable memory가 다양한 Atari 게임에서 최종 성능과 데이터 효율성에 어떤 영향을 미치는가?
• RQ4 추가-적합(nearest-neighbor 근접 탐색) 기반의 대규모 append-only 메모리가 episodic 리셋에 비해 실용적 이점을 제공하는가?

주요 결과

• NEC는 Atari 게임에서 소량의 데이터로도 DQN, A3C 및 여러 λ-반환 기준선보다 훨씬 빠르게 학습한다.
• 초기 학습 구간에서 NEC는 모든 기준선을 능가하며, 약 4000만 프레임 수준에서 Prioritised Replay를 사용하는 DQN이 평균적으로 NEC를 능가할 수 있다.
• NEC는 테스트된 게임 중 약 25%에서 100만 프레임 이내에 인간 수준의 성능을 달성하여 강한 데이터 효율성을 시사한다.
• NEC와 MFEC가 episodic-like 가치 추정을 탐색하는 반면 NEC는 보상 유도 임베딩을 사용하여 가치의 보간(interpolation)을 개선한다.
• 학습 속도와 데이터 효율성 측면에서 NEC가 일반적으로 MFEC 및 Prioritised Replay보다 우수하며, 특히 약 5-10백만 프레임 이전에 우수하다.