[논문 리뷰] Meta-SGD: Learning to Learn Quickly for Few-Shot Learning

Zhenguo Li, Fengwei Zhou외 2명|arXiv (Cornell University)|2017. 07. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 839

한 줄 요약

메타-SGD는 초기화 및 매 한 단계에서의 적응을 가능하게 하는 SGD-유사 메타-러너를 학습합니다. 이는 초기화, 업데이트 방향, 매 매개변수 학습률을 학습하여 회귀, 분류, 강화학습 전반에서 강력한 성능을 달성합니다.

ABSTRACT

Few-shot learning is challenging for learning algorithms that learn each task in isolation and from scratch. In contrast, meta-learning learns from many related tasks a meta-learner that can learn a new task more accurately and faster with fewer examples, where the choice of meta-learners is crucial. In this paper, we develop Meta-SGD, an SGD-like, easily trainable meta-learner that can initialize and adapt any differentiable learner in just one step, on both supervised learning and reinforcement learning. Compared to the popular meta-learner LSTM, Meta-SGD is conceptually simpler, easier to implement, and can be learned more efficiently. Compared to the latest meta-learner MAML, Meta-SGD has a much higher capacity by learning to learn not just the learner initialization, but also the learner update direction and learning rate, all in a single meta-learning process. Meta-SGD shows highly competitive performance for few-shot learning on regression, classification, and reinforcement learning.

연구 동기 및 목표

• 적은 데이터에서의 빠른 적응을 학습 가능한 최적화 전략을 사용하여 few-shot 학습에서 동기를 부여합니다.
• 초기화와 매 매개변수 업데이트 규칙을 함께 학습하는 SGD-유사 메타-러너를 제안합니다.
• 업데이트 방향과 학습률을 학습시키면 이전 메타러너들보다 용량이 증가한다는 것을 보여줍니다.
• 한 단계 적응으로 회귀, 분류, 강화학습에서 경쟁력 있거나 최첨단 성능을 보여줍니다.

제안 방법

• 메타-SGD를 도입합니다. 이는 θ' = θ − α ∘ ∇Ltrain(θ) 와 같이 학습 가능한 α와 함께 학습자를 업데이트하는 옵티마이저-유사 메타-러너입니다.
• 초기화 θ와 업데이트 스케일링 α를 태스크 분포 p(T)에서 샘플링된 많은 관련 태스크에 걸쳐 끝에서 끝으로 학습합니다.
• 메타러너를 태스크별 1단계 적응(메타-훈련) 이후의 테스트 세트에서 일반화 손실의 기대값을 최소화하여 학습합니다.
• 프레임워크를 감독 학습(회귀 및 분류)과 강화학습에 적용하고, 모든 경우에 SGD-유사 업데이트를 사용합니다.
• 메타-SGD를 Meta-LSTM 및 MAML과 비교하여 더 높은 용량과 더 단순하고 더 효율적인 학습을 강조합니다.

실험 결과

연구 질문

• RQ1 메타러너를 설계하여 적은-shot 데이터에서 새로운 태스크에 대해 학습자를 초기화하고 적응시키는 방법은?
• RQ2 업데이트 방향과 매 매개변수 학습률을 학습시키는 것이 초기화 학습만 학습하는 것보다 few-shot 일반화를 개선하는가?
• RQ3 단일 순방향 패스 적응(한 단계)으로 회귀, 분류, 강화학습 태스크에서 경쟁력 있거나 우수한 성능을 달성할 수 있는가?
• RQ4 메타-SGD는 학습 효율성과 성능 측면에서 기존 메타러너(MAML, Meta-LSTM)와 어떻게 비교되는가?

주요 결과

• 메타-SGD는 회귀, 분류, 강화학습 전반에서 한 단계 적응으로 매우 경쟁력 있는 결과를 달성합니다.
• 회귀에서 메타-SGD는 sine-curve few-shot 태스크에서 MAML을 능가합니다(5-, 10-, 20-shot 설정).
• Omniglot 및 MiniImagenet 분류에서 메타-SGD는 최첨단 또는 경쟁력 있는 정확도를 달성하며, 여러 설정에서 종종 MAML 및 Meta-LSTM을 능가합니다.
• 강화학습에서 메타-SGD는 고정된 시작점과 가변 시작점 모두에서 2D 내비게이션 태스크에서 MAML보다 더 높은 수익을 얻습니다.
• 메타-SGD는 한 번의 메타학습 과정에서 초기화, 업데이트 방향, 학습률을 학습하여 Meta-LSTM 및 MAML보다 더 빠르게 학습하고 적응합니다.