[논문 리뷰] Gradient-Based Meta-Learning with Learned Layerwise Metric and Subspace

Yoonho Lee, Seungjin Choi|arXiv (Cornell University)|2018. 01. 17.

Domain Adaptation and Few-Shot Learning인용 수 73

한 줄 요약

MT-넷과 T-넷은 메타학습된 부분공간과 태스크별 메트릭 왜곡을 가능하게 하여, 빠른 적응을 위한 어떤 가중치를 업데이트할지와 활성화 공간이 어떻게 형성되는지를 학습함으로써 경사 기반 메타학습을 향상시킨다.

ABSTRACT

Gradient-based meta-learning methods leverage gradient descent to learn the commonalities among various tasks. While previous such methods have been successful in meta-learning tasks, they resort to simple gradient descent during meta-testing. Our primary contribution is the {\em MT-net}, which enables the meta-learner to learn on each layer's activation space a subspace that the task-specific learner performs gradient descent on. Additionally, a task-specific learner of an {\em MT-net} performs gradient descent with respect to a meta-learned distance metric, which warps the activation space to be more sensitive to task identity. We demonstrate that the dimension of this learned subspace reflects the complexity of the task-specific learner's adaptation task, and also that our model is less sensitive to the choice of initial learning rates than previous gradient-based meta-learning methods. Our method achieves state-of-the-art or comparable performance on few-shot classification and regression tasks.

연구 동기 및 목표

• 레이어 전체에 걸쳐 태스크 적응이 어디에서(어떤 부분공간에서) 일어나야 하는지 학습하는 것을 목표로 하는 gradient-based 메타학습 동기 부여.
• 태스크-특정 업데이트를 위한 부분공간과 활성화 공간을 왜곡하는 메타학습된 메트릭을 모두 학습하는 MT-넷 도입.
• 부분공간 차원이 태스크 복잡도를 반영하고 MT-넷이 초기 학습률에 대한 민감도를 줄임을 입증.
• MT-넷이 소수 샷 분류와 회귀 태스크에서 SOTA 또는 경쟁 성능을 달성하는지 보여줌.

제안 방법

• T-nets를 도입하여 각 층마다 변환 행렬 T를 통해 활성화 공간에서 메트릭을 학습한다.
• 추가로 이진 그래디언트 마스크 M을 학습하여 주어진 태스크에 대해 어떤 가중치가 업데이트될지 선택하는 Mask Transformation Networks(MT-nets)로 확장한다.
• MT-nets는 로짓 zeta로 M을 매개화하고 마스크 샘플링을 역전파하기 위해 Gumbel-Softmax 재파라미터화를 사용한다.
• 업데이트 규칙을 제공한다: W := W - 알파 M ∘ ∇_W L(...); MT-nets의 경우 태스크 적응을 위한 그래디언트의 부분공간이 선택되고 학습된 메트릭 T가 적용된다.
• MT-nets는 Associated metric을 가진 임의의 부분공간에서의 업데이트를 가능하게 하여 효과적으로 저차원의 태스크 인식 임베딩에서 경사하강법을 수행함을 도출한다.
• 태스크 배치에 대한 최적화를 L_t(˜θ_W,T, D_train, D_test)를 최소화하는 메타-objective를 통해 개략적으로 outline한다.

실험 결과

연구 질문

• RQ1 층별 부분공간과 메트릭을 학습하는 것이 경사 기반 메타학습 성능에 어떻게 영향을 미치는가?
• RQ2 MT-nets가 각 태스크마다 네트워크의 어떤 부분을 얼마나 업데이트할지 자동으로 결정할 수 있는가?
• RQ3 부분공간 차원이 태스크 복잡도와 상관관계가 있으며 이것이 학습률 선택에 대한 로버스트니스를 향상시키는가?
• RQ4 T-nets와 MT-nets가 표준 소수 샷 벤치마크(Omniglot, MiniImagenet) 및 회귀 태스크로 확장 가능한가?
• RQ5 MT-nets의 행 마스크와 전체 매개변수 마스킹의 실제 성능 차이는 어떤가?

주요 결과

• MT-nets는 sine-wave 회귀 및 소수 샷 분류 벤치마크에서 MAML, Meta-SGD 및 MT-net 변형들을 능가합니다.
• MT-nets는 메타로 학습된 T가 유효 스텝 크기를 왜곡하여 알파의 변화에도 성능을 유지함으로써 학습률 변화에 대한 강건성을 보입니다.
• MT-nets에서 업데이트되는 가중치의 비율은 태스크 복잡도가 높아질수록 증가하여 메타러너가 적절한 자유도를 할당하여 적응을 수행함을 시사합니다.
• Omniglot 5-way 1-shot 및 MiniImagenet 5-way 1-shot에서 MT-nets는 경쟁력 있는 정확도를 달성하며 경쟁 방법에 근접하거나 이를 능가합니다(예: Omniglot에서 MT-net 99.5% 및 99.4%, MiniImagenet 5-way 1-shot에서 MT-net 96.2%).
• MT-nets는 태스크 난이도를 반영하는 부분공간 차원을 학습하며 필요 매개변수만 업데이트하는 것으로 보는 암시적 Occam 유사 규제를 수행합니다.
• 제안된 접근법은 회귀와 분류 모두에 일반화되며, 어떤 피드포워드 네트워크도 MT-net으로 변환될 수 있어 더 큰 아키텍처에 적용 가능하다는 점에서 확장성이 있습니다.