[논문 리뷰] Been There, Done That: Meta-Learning with Episodic Recall

Samuel Ritter, Jane X. Wang외 5명|arXiv (Cornell University)|2018. 05. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 32

한 줄 요약

이 논문은 개방형이고 반복적인 환경에서 종신 학습을 가능하게 하기 위해 미분 가능한 신경 사전(DND)과 게이팅 순환 단위(epLSTM)를 사용하는 에피소딕 메모리 증강 메타학습 에이전트를 제안한다. 에이전트는 맥락 기반 메모리 재활용을 통해 이전에 학습한 정책을 검색하며, 반복되는 작업에서 재학습을 크게 줄이고, 실험 결과는 신뢰할 수 있는 메모리 검색과 다섯 가지 다양한 메타학습 환경에서의 성능 향상을 보여준다.

ABSTRACT

Meta-learning agents excel at rapidly learning new tasks from open-ended task distributions; yet, they forget what they learn about each task as soon as the next begins. When tasks reoccur - as they do in natural environments - metalearning agents must explore again instead of immediately exploiting previously discovered solutions. We propose a formalism for generating open-ended yet repetitious environments, then develop a meta-learning architecture for solving these environments. This architecture melds the standard LSTM working memory with a differentiable neural episodic memory. We explore the capabilities of agents with this episodic LSTM in five meta-learning environments with reoccurring tasks, ranging from bandits to navigation and stochastic sequential decision problems.

연구 동기 및 목표

• 새로운 작업을 만났을 때 이전에 학습한 작업을 잊어버리는 메타학습 에이전트의 한계를 해결하기 위해.
• 작업이 자연스러운 빈도 분포를 따르며 반복되는 개방형이고 반복적인 환경을 체계화하기 위해.
• 작업이 다시 나타날 경우 빠르게 검색하고 재사용할 수 있는 이전에 학습한 정책을 가능하게 하는 메타학습 아키텍처를 개발하기 위해.
• 에피소딕 메모리를 메타학습과 통합하여 샘플 효율성을 향상시키고 반복 작업에서의 재탐색을 줄이기 위해.
• 다양한 환경, 특히 밴디트, 내비게이션, 순차적 결정 과제에서 아키텍처를 평가하기 위해.

제안 방법

• Zipf-유사한 재등장 빈도를 갖는 개방형이고 반복적인 작업 시퀀스를 생성하기 위해 블랙웰-맥크위니 아연 계획을 사용하는 확률적 작업 프로세스를 제안한다.
• 표준 LSTM과 미분 가능한 신경 사전(DND)을 결합한 epLSTM 아키텍처를 도입하여 에피소딕 메모리 저장 및 검색을 수행한다.
• 맥락적 신호에 기반하여 검색된 에피소딕 메모리의 흐름을 제어하기 위해 곱셈형 재활성화 게이트(r-gate)를 사용한다.
• 이중 메모리 메커니즘을 적용: 장기적 에피소딕 메모리(DND)는 작업별 숨겨진 상태를 저장하고, LSTM은 온라인 의사결정을 위한 워킹 메모리를 유지한다.
• 각 작업이 분포 𝒟에서 샘플링되며, 유도적 편향을 통해 신속한 적응을 학습하는 메타학습 프레임워크를 사용해 에이전트를 훈련시킨다.
• 임베딩 품질 향상과 이웃 기반 검색을 향상시키기 위해 DND에 대비 손실과 보조 훈련을 적용한다.

실험 결과

연구 질문

• RQ1 개방형이고 반복적인 환경에서 작업이 다시 나타날 경우, 메타학습 에이전트가 이전에 학습한 정책을 효과적으로 기억하고 재활용할 수 있는가?
• RQ2 미분 가능한 에피소딕 메모리의 통합이 반복 작업에서 샘플 효율성을 향상시키고 재탐색을 줄이는 데 어떻게 기여하는가?
• RQ3 r-gate 메커니즘이 맥락적 관련성에 기반해 에피소딕 메모리를 선택적으로 게이팅할 수 있는 정도는 어느 정도인가?
• RQ4 저장된 정책을 검색하고 조합함으로써 에이전트는 조합적 작업으로 일반화할 수 있는가?
• RQ5 에피소딕 메모리는 지연 피드백이 있는 다중 상태 MDP에서 학습 동역학에 어떻게 영향을 미치는가?

주요 결과

• r-gate 메커니즘은 유의미한 통계적 차이를 보였으며, 유도된 에피소드에서 올바른 동작 시 평균 활성도(0.365)가 잘못된 동작 시 평균 활성도(0.358)보다 높았고, p < 1e-20이었다.
• 에피소딕 메모리가 있는 에이전트는 반복되는 작업에서 재탐색이 줄었으며, 다시 시작하는 대신 '이전에 끝낸 곳에서 이어가기'에 효과적으로 기여했다.
• 카테고리 기반 맥락 신호를 사용하여 저장된 정책을 성공적으로 검색하여 효과적인 의미적 메모리 검색을 확인했다.
• 신경과학 기반의 워터 미로 과제에서, 에이전트는 인간의 에피소딕 기억 회상과 유사한 메모리 기반 학습 전략을 발견했다.
• 에피소딕 메모리 시스템은 이전에 학습한 부분 정책을 조합함으로써 조합적 과제를 처리하는 데 기여했다.
• DND 기반의 검색 메커니즘은 다중 상태 MDP에서 강건성을 보였으며, 메모리 재활성화가 장기간의 시퀀스 동안의 탐색과 의사결정을 지원했다.