[논문 리뷰] A Simple Neural Attentive Meta-Learner

Nikhil Mishra, Mostafa Rohaninejad외 2명|arXiv (Cornell University)|2017. 07. 11.

Neural Networks and Applications인용 수 758

한 줄 요약

SNAIL은 시간적 합성(convolutions)과 인과적 주의(causal attention)를 결합한 일반 메타 학습기로, 특정 작업 priors 없이 감독 학습 및 강화 학습 메타 학습 태스크에서 최첨단 성능을 달성합니다.

ABSTRACT

Deep neural networks excel in regimes with large amounts of data, but tend to struggle when data is scarce or when they need to adapt quickly to changes in the task. In response, recent work in meta-learning proposes training a meta-learner on a distribution of similar tasks, in the hopes of generalization to novel but related tasks by learning a high-level strategy that captures the essence of the problem it is asked to solve. However, many recent meta-learning approaches are extensively hand-designed, either using architectures specialized to a particular application, or hard-coding algorithmic components that constrain how the meta-learner solves the task. We propose a class of simple and generic meta-learner architectures that use a novel combination of temporal convolutions and soft attention; the former to aggregate information from past experience and the latter to pinpoint specific pieces of information. In the most extensive set of meta-learning experiments to date, we evaluate the resulting Simple Neural AttentIve Learner (or SNAIL) on several heavily-benchmarked tasks. On all tasks, in both supervised and reinforcement learning, SNAIL attains state-of-the-art performance by significant margins.

연구 동기 및 목표

• 관련 태스크 분포 전반에 걸쳐 빠르게 적응할 수 있는 일반적이고 유연한 메타 학습 아키텍처를 고안한다.
• 특정 도메인에 맞춘 수작업으로 설계된 아키텍처나 priors에 의존하는 것을 제거한다.
• 시간적 합성과 주의를 결합하여 단순하지만 표현력이 풍부한 모델을 개발한다.
• 감독 학습 소수 샷 벤치마크와 강화 학습 태스크에서 강한 성능을 입증한다.

제안 방법

• 시퀀스 처리 메타 학습기를 형성하기 위해 시간적 합성 블록과 인과적 주의 블록을 교차 배치하는 SNAIL을 제안한다.
• 확장된(dilated) 인과 1D 합성(DenseBlocks/TCBlocks)을 사용하여 효율적인 시간 맥락 표현을 구축한다.
• 미래 단계를 훔쳐보지 않으면서 과거 표현에서 선택적으로 읽기 위해 인과 주의 메커니즘을 도입한다.
• 감독 설정에서는 라벨이 있는 예시의 시퀀스를 먼저 처리하고 그 뒤에 비표시 쿼리, 또는 RL에서는 관찰-행동-보상 튜플로 입력을 처리하여 경계 간 에피소드를 기억을 보존한다.
• 작업 분포에 대해 Adam으로(또는 RL에서 TRPO/GAE로) 엔드투엔드로 학습하여 작업 간 기대 메타 손실을 최소화한다.
• LSTM 기반 메타 학습자 및 MAML과 같은 그래디언트 기반 메타 학습자에 비해 아키텍처의 강건성과 학습 효율성을 강조한다.

실험 결과

연구 질문

• RQ1 일반적인 메타 학습기가 다양한 태스크에서 도메인 특화 또는 사전 지식(priors) 기반 접근법보다 더 나은 성능을 낼 수 있는가?
• RQ2 시간적 합성과 인과적 주의의 결합이 빠른 적응을 위한 확장 가능하고 장기 기억을 가능하게 하는가?
• RQ3 SNAIL은 few-shot 감독 학습 벤치마크(Omniglot, mini-ImageNet)와 강화 학습 메타 태스크(밴디트, MDP, 탐색/항해, 연속 제어)에서 어떤 성능을 보이는가?
• RQ4 SNAIL은 LSTM과 같은 순환 아키텍처나 메모리 증가 네트워크보다 학습이 더 쉬우며 메모리 효율적인가?

주요 결과

• SNAIL은 감독 소수 샷 학습 벤치마크와 다수의 강화 학습 메타 태스크에서 최첨단 또는 경쟁력 있는 성능을 달성한다.
• 소수 샷 분류에서 SNAIL은 Omniglot과 mini-ImageNet에서 이전의 일반적 또는 도메인 특화 방법을 크게 능가한다.
• RL 도메인에서 SNAIL은 종종 LSTM 기반 메타 학습자 및 MAML 기준선을 상회하거나 등등, 특히 장기 시간 의존성 및 구조화된 태스크 분포를 가진 과제에서 그렇다.
• SNAIL의 아키텍처는 에피소드 경계 간 메모리를 지지하며 고정된 짧은 컨텍스트 창 없이도 더 긴 시퀀스에 확장된다.
• 요소 제거(ablation) 분석은 아키텍처 선택에 대한 강건성을 보여주며 TC와 주의의 간단한 조합이 많은 수작업 없이도 강한 성능을 제공한다.