[논문 리뷰] Meta-Learning with Warped Gradient Descent

Sebastian Flennerhag, Andrei A. Rusu외 4명|arXiv (Cornell University)|2019. 08. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 66

한 줄 요약

WarpGrad 메타-러너는 워프-레이어를 통해 그래디언트를 사전 조건화하여, few-shot, 표준, 지속적 학습 및 강화학습 과제에 걸쳐 확장 가능하고 궤적에 구애받지 않는 그래디언트 기반 메타학습을 가능하게 한다.

ABSTRACT

Learning an efficient update rule from data that promotes rapid learning of new tasks from the same distribution remains an open problem in meta-learning. Typically, previous works have approached this issue either by attempting to train a neural network that directly produces updates or by attempting to learn better initialisations or scaling factors for a gradient-based update rule. Both of these approaches pose challenges. On one hand, directly producing an update forgoes a useful inductive bias and can easily lead to non-converging behaviour. On the other hand, approaches that try to control a gradient-based update rule typically resort to computing gradients through the learning process to obtain their meta-gradients, leading to methods that can not scale beyond few-shot task adaptation. In this work, we propose Warped Gradient Descent (WarpGrad), a method that intersects these approaches to mitigate their limitations. WarpGrad meta-learns an efficiently parameterised preconditioning matrix that facilitates gradient descent across the task distribution. Preconditioning arises by interleaving non-linear layers, referred to as warp-layers, between the layers of a task-learner. Warp-layers are meta-learned without backpropagating through the task training process in a manner similar to methods that learn to directly produce updates. WarpGrad is computationally efficient, easy to implement, and can scale to arbitrarily large meta-learning problems. We provide a geometrical interpretation of the approach and evaluate its effectiveness in a variety of settings, including few-shot, standard supervised, continual and reinforcement learning.

연구 동기 및 목표

• 기존의 그래디언트 기반 메타러너의 수렴성, 확장성, 크레딧 할당 문제를 동기 부여하고 이를 해결한다.
• 그래디언트를 사전 조건화하는 궤적에 독립적인 프리-conditioning 프레임워크를 제안하고, 워프-레이어를 태스크-러너 층 사이에 삽입하여 그래디언트를 사전 조건화한다.
• 리만 기하학적 지표를 통해 WarpGrad의 기하학적 해석을 제공하고, few-shot, 다샷, 지속적 학습 및 강화 학습 설정 전반에서 확장 가능한 성능을 입증한다.

제안 방법

• 워프-레이어를 태스크-러너 층과 교대로 배치하여 워프 네트워크를 구성하고, 그래디언트의 데이터 의존적 사전 조건화를 가능하게 한다.
• P가 워프-레이어와 그 야코비안에 의해 구현되는 일반적인 사전 조건화 규칙 U(θ;φ)=θ−αP(θ;φ)∇L(θ) 를 정의한다.
• 태스크와 중간 태스크-러너 매개변수의 결합 분포를 최적화하여 궤적-무관 메타 목적 함수 L(φ)을 도출하고, 전체 적응 궤적에 대한 역전파를 피한다.
• 기하학 설명: 워프-레이어는 왜곡 공간에 G라는 매트릭스를 유도하고, G−1이 사전 조건화기로 작용한다; 왜곡 공간에서의 업데이트와 리만 기하학적 매트릭스 하의 하강 사이의 1차 동등성을 입증한다.
• 워프 파라미터 φ를 학습하기 위한 온라인(Algorithm 1)과 오프라인(Algorithm 2) 메타 트레이닝 절차를 제안하고, 초기 태스크 매개변수 θ0|τ에 대한 사전 지식 학습 여부를 선택적으로 허용한다.
• 학습된 초기화 및 사전 지식과의 통합을 보여 주며, 다양한 학습 체제(온라인/오프라인, 지도학습/RL 지속 학습)를 가능하게 한다.
• 블록 대각 구조를 넘어선 더 풍부한 사전 조건화를 포착하기 위해 비선형 워프-레이어를 시연하고, RL 과제에서 기억 능력을 보이는 동작을 보여준다.

실험 결과

연구 질문

• RQ1 WarpGrad가 적응 궤적에 대한 역전파를 피하면서 그래디언트 기반의 few-shot 학습자의 귀추적 편향(inductive bias)을 유지할 수 있을까?
• RQ2 WarpGrad가 얼마나 확장되어 few-shot를 넘어서 다-shot 및 표준 지도학습/ RL 과제까지 확장될 수 있는가?
• RQ3 지속 학습 및 기억이 필요한 과제와 같은 복잡한 메타학습 시나리오에 WarpGrad가 일반화되는가?
• RQ4 학습된 워프 기하가 수렴 보장을 촉진하는 곡률 기반 사전 조건화기로 해석 가능한가?

주요 결과

• WarpGrad는 표준 few-shot 벤치마크(mini-ImageNet 및 tiered-ImageNet)에서 기본 그래디언트 기반 메타러너를 능가한다.
• Warp-MAML 및 Warp-Leap 변형은 적응 단계가 확장된 Omniglot 및 tiered-ImageNet를 포함한 few-shot 및 다-shot 설정에서 비워프 대응자들보다 더 높은 정확도를 달성한다.
• 비선형 워프-레이어는 블록 대각 구조를 넘어서는 더 풍부한 사전 조건화를 가능하게 하며, 지속 학습 및 RL 미로 탐색과 같은 복잡한 과제에서 성능을 향상시킨다.
• 워프-학습 파라미터를 이용한 오프라인 메타 트레이닝은 상당한 이점을 가져오며(예: Omniglot에서 테스트 정확도가 76.3%에서 84.3%로 향상).
• WarpGrad는 암시적 리만 기하학적 매트릭스를 통한 경사하강과 같은 업데이트로 사전 조건화를 내재시켜 수렴 특성을 유지하며, 과제 전반에 걸친 안정성과 확장성을 제공한다.