[논문 리뷰] Online Meta-Learning

Chelsea Finn, Aravind Rajeswaran외 2명|arXiv (Cornell University)|2019. 02. 22.

Domain Adaptation and Few-Shot Learning인용 수 101

한 줄 요약

본 논문은 온라인 메타학습 프레임워크와 Follow The Meta Leader (FTML) 알고리즘을 도입하여 MAML을 순차적 태스크로 확장하고 O(log T) 후퇴( regrets) 보장을 제시하며 비전 태스크에서 강력한 실험적 향상을 보여준다.

ABSTRACT

A central capability of intelligent systems is the ability to continuously build upon previous experiences to speed up and enhance learning of new tasks. Two distinct research paradigms have studied this question. Meta-learning views this problem as learning a prior over model parameters that is amenable for fast adaptation on a new task, but typically assumes the set of tasks are available together as a batch. In contrast, online (regret based) learning considers a sequential setting in which problems are revealed one after the other, but conventionally train only a single model without any task-specific adaptation. This work introduces an online meta-learning setting, which merges ideas from both the aforementioned paradigms to better capture the spirit and practice of continual lifelong learning. We propose the follow the meta leader algorithm which extends the MAML algorithm to this setting. Theoretically, this work provides an $\mathcal{O}(\log T)$ regret guarantee with only one additional higher order smoothness assumption in comparison to the standard online setting. Our experimental evaluation on three different large-scale tasks suggest that the proposed algorithm significantly outperforms alternatives based on traditional online learning approaches.

연구 동기 및 목표

• 메타학습과 온라인 학습의 개념을 통합하여 지속적이고 평생 학습을 촉진한다.
• 태스크가 순차적으로 도착하고 이전의 경험이 적응에 정보를 제공하는 온라인 메타학습 문제를 형식화한다.
• 온라인 메타학습 방법으로서 Follow The Meta Leader (FTML) 알고리즘을 제안한다.
• 이론적 후퇴 보장과 대규모 태스크를 위한 실질적인 딥러닝 구현을 제공한다.

제안 방법

• 업데이트 U_t(w)가 각 태스크 t를 평가하기 전에 적용되는 온라인 메타학습을 정의한다.
• FTML: w_{t+1} = argmin_w sum_{k=1}^t f_k(U_k(w)).
• MAML 유사 objective를 얻기 위해 한 단계 그래디언트 업데이트 U_t(w) = w - α ∇f̂_t(w)를 사용한다.
• 표준 매끄러움과 볼록성 가정하에 합성 함수가 볼록하고 매끄럽게 되며 O(log T) 후퇴로 이어짐을 보인다.
• 깊은 네트워크를 위한 실용적인 확률적 최적화 구현을 MAML에서 영감을 받아 제시한다(내부 루프와 외부 루프, Grad/Adam 업데이트).
• 내부 업데이트가 보정된 손실이 적절히 볼록한 경우 FTML이 Follow The Leader에 비견되는 후퇴 보장을 상속한다는 것을 보인다.

실험 결과

연구 질문

• RQ1 온라인 메타학습을 형성하여 과거 태스크를 활용해 순차적으로 도착하는 새로운 태스크에 빠르게 적응할 수 있는가?
• RQ2 FTML이 hindsight에서 최고의 메타러너를 상대로 서브선형 후퇴를 달성하는가?
• RQ3 대규모 비전 태스크에서 딥 뉴럴 네트워크에 대해 FTML을 효과적으로 구현할 수 있는가?
• RQ4 온라인 메타학습이 실용 태스크에서 전통적 온라인 학습 및 공동 학습(baselines)과 어떻게 비교되는가?

주요 결과

• FTML은 제시된 가정 하에서 hindsight에서 최고의 메타러너에 대해 O(log T) 후퇴 상한을 달성한다.
• 적절한 스텝 크기를 가진 MAML 유사 목적 f_i(w - α ∇f̂_i(w))는 볼록하며 효율적 최적화를 가능하게 한다.
• FTML은 TOE(Train On Everything) 및 공동 학습 baselines 대비 데이터 효율적 상황에서 실험적 이득을 제공한다.
• Rainbow MNIST에서 FTML은 새 태스크를 추가할 때마다 새로운 태스크를 더 효율적으로 학습하여 대안을 능가한다.
• CIFAR-100에서 FTML은 모든 계층을 적응시키는 이점으로 더 빠른 태스크 학습을 가능하게 한다.
• 순차 객체 자세 예측 설정에서 FTML은 기본 방법보다 더 빠른 학습과 더 나은 전이 성능을 보인다.