[논문 리뷰] Model-Free Episodic Control

Charles Blundell, Benigno Uría외 7명|arXiv (Cornell University)|2016. 06. 14.

Memory and Neural Mechanisms참고 문헌 35인용 수 172

한 줄 요약

본 논문은 비모수(non-parametric) 에피소딕 컨트롤 메커니즘을 도입하여 고수익 경험을 빠르게 저장하고 재생함으로써 딥 RL 방법들보다 훨씬 빠르게 정책을 학습하도록 하고, Atari와 Labyrinth 환경에서 이를 시연한다.

ABSTRACT

State of the art deep reinforcement learning algorithms take many millions of interactions to attain human-level performance. Humans, on the other hand, can very quickly exploit highly rewarding nuances of an environment upon first discovery. In the brain, such rapid learning is thought to depend on the hippocampus and its capacity for episodic memory. Here we investigate whether a simple model of hippocampal episodic control can learn to solve difficult sequential decision-making tasks. We demonstrate that it not only attains a highly rewarding strategy significantly faster than state-of-the-art deep reinforcement learning algorithms, but also achieves a higher overall reward on some of the more challenging domains.

연구 동기 및 목표

• 해마에서 영감을 받은 에피소딕 컨트롤을 활용하여 강화학습에서 빠르고 원샷에 가까운 학습을 촉진한다.
• 높은 보상을 가진 상태-행동 흔적을 저장하고 재생하는 간단한 비모수적 에피소딕 메모리(Q_EC)를 개발한다.
• 최근접 이웃 스킴과 표현을 활용하여 표 형 RL의 메모리 및 일반화 문제를 다룬다.
• 고정된 환경에서 데이터 효율적인 학습과 베이스라인 딥 RL 방법 대비 경쟁력 있거나 우수한 성능을 입증한다.

제안 방법

• 각 상태-행동 쌍에 대해 달성된 최고 보상을 저장하는 성장하는 비모수 표 Q_EC(s,a)를 유지한다.
• 행동별 버퍼에서 k-최근접 이웃(k-NN)을 사용하여 저장된 상태들 중 가장 가까운 k개의 값을 평균 내어 새로운 상태에 대해 Q_EC를 일반화한다(Eq. 2).
• 관찰치를 특징 매핑 phi(무작위 프로젝션 또는 VAE 기반 잠재 특징)을 사용해 임베딩하여 상태 공간 간 거리를 결정한다.
• 현재 Q_EC에 의해 암시된 정책으로 에피소드를 실행한 다음 에피소드를 역방향 재생(backward replay)하여 Q_EC 항목을 업데이트한다(Eq. 1).
• 성장을 관리하기 위해 LRU(최근접 사용되지 않는 항목 제거)로 잊고 각 행동당 버퍼를 상한으로 제한한다.
• 변동성의 중요한 요인을 포착하고 거리 척도를 개선하기 위한 수단으로 VAEs를 이용한 표현 학습을 논의한다(VAEs에 관한 부록).

실험 결과

연구 질문

• RQ1 그레이디언트 기반 업데이트 없이 고수익 경험을 재활용하여 모델-프리 에피소딕 컨트롤이 빠른 학습을 달성할 수 있는가?
• RQ2 메모리 크기, 최근접 이웃 매개변수(k), 표현 선택이 결정론적 및 확률적 유사 환경에서 성능 및 일반화에 어떤 영향을 미치는가?
• RQ3 상태가 드물게 재방문되는 보다 현실적인 3D 환경에서도 에피소딕 컨트롤이 여전히 효과적인가?
• RQ4 에피소딕 메모리와 결합된 단순한 탐색(epsilon-greedy)이 데이터 효율성에 미치는 영향은 무엇인가?

주요 결과

• 에피소딕 컨트롤은 Atari 게임과 Labyrinth 레벨에서 초기 학습 동안 최첨단 딥 RL 알고리즘보다 현저히 더 빠르게 학습한다.
• k-NN 버퍼와 간단한 표현으로 이 방법은 여러 게임에서 초반 학습 단계에서 DQN, 우선순위 재생이 포함된 DQN, A3C를 능가한다.
• 결정론적 Atari 환경에서 많은 상태와 행동이 재방문되어 에피소딕 메모리의 효과적 활용이 가능하다(예: 10-60%의 상태가 재해당).
• Labyrinth에서 에피소딕 컨트롤은 원샷에 가까운 학습을 달성하고 특히 희소 보상 환경(Double-T-Maze)에서 A3C 성능을 능가하거나 빠르게 근접할 수 있다.
• 표현으로 VAEs를 사용하는 것은 Labyrinth에서 일반화 이점을 제공할 수 있으며, k가 클수록 최종 성능이 향상되고, Atari는 작업 구조에 따라 혼합된 결과를 보인다.
• 에피소딕 컨트롤과 결합된 단순한 epsilon-greedy 탐색 전략만으로도 빠른 학습이 가능하다.