[논문 리뷰] On First-Order Meta-Learning Algorithms

Alex Nichol, Joshua Achiam외 1명|arXiv (Cornell University)|2018. 03. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 544

한 줄 요약

이 논문은 빠른 적응 초기화를 학습하기 위한 1차 메타러닝 방법을 분석하고, Reptile을 도입하며, 이 1차 방법들이 몇-shot 태스크에서 2차 MAML 변형과 대등하거나 더 나은 성능을 보일 수 있음을 이론적 및 실험적으로 뒷받침한다.

ABSTRACT

This paper considers meta-learning problems, where there is a distribution of tasks, and we would like to obtain an agent that performs well (i.e., learns quickly) when presented with a previously unseen task sampled from this distribution. We analyze a family of algorithms for learning a parameter initialization that can be fine-tuned quickly on a new task, using only first-order derivatives for the meta-learning updates. This family includes and generalizes first-order MAML, an approximation to MAML obtained by ignoring second-order derivatives. It also includes Reptile, a new algorithm that we introduce here, which works by repeatedly sampling a task, training on it, and moving the initialization towards the trained weights on that task. We expand on the results from Finn et al. showing that first-order meta-learning algorithms perform well on some well-established benchmarks for few-shot classification, and we provide theoretical analysis aimed at understanding why these algorithms work.

연구 동기 및 목표

• 다른 태스크 분포 하에서 메타러닝을 동기화하고, 보지 못한 태스크에서 빠른 적응을 가능하게 하는 초기화를 찾는다.
• MAML과의 1차 메타러닝 방법을 분석하고 비교하며 구현의 간단함과 성능을 강조한다.
• 새로운 1차 알고리즘(Reptile)을 소개하고 이를 동시 학습(joint training) 및 빠른 가중치(fast weights) 개념과 연결한다.
• 왜 1차 업데이트가 태스크 내 일반화와 미니배치 간 일반화에 대한 이론적 통찰을 제공하는지 제시한다.

제안 방법

• 메타-목적 함수(MAML 목표)와 그 1차 변형(FOMAML)을 메타 그래디언트의 2차 항을 무시하여 설명한다.
• 초기화를 태스크별로 학습된 가중치 쪽으로 업데이트하는 1차 알고리즘인 Reptile을 도입하고, 직렬 및 병렬(배치) 변형을 제시한다.
• Reptile의 업데이트를 태스크 학습 가중치의 가중 평균으로 초기화를 이동시키는 것으로 볼 수 있으며, 이는 동시 학습과 보정 항과 유사하다고 설명한다.
• 테일러 급수 기반 분석을 제공하여 g_MAML, g_FOMAML, g_Reptile를 비교하고 AvgGrad와 AvgGradInner 구성요소를 강조한다.
• 왜 1차 방법들이 태스크 내 유용한 초기화를 회복할 수 있는지 설명하기 위한 1D 사인 곡선 회귀 사례를 논의한다.
• Omniglot과 Mini-ImageNet에서 비전이(transductive) 설정과 비전이 아닌 설정 모두에서 실험적으로 평가하고 내부 루프 그래디언트 조합을 비교한다.

실험 결과

연구 질문

• RQ1 2차 미분 없이도 1차 메타러닝 업데이트가 몇-shot 태스크에서 MAML에 버금가는 빠른 학습 성능을 달성할 수 있는가?
• RQ2 MAML의 간단한 1차 대안으로서 Reptile의 동작 방식과 이론적 타당성은 무엇인가?
• RQ3 내부 루프 그래디언트 조합과 내부 루프 미니배치 간의 겹침이 메타러닝 성능에 어떤 영향을 주는가?
• RQ4 Reptile이 여러 태스크의 최적 해 공간 근처의 초기화로 효과적으로 수렴하는가?
• RQ5 그래디언트 간의 상호 작용을 통해 내부 태스크 일반화를 극대화하는 조건은 무엇인가?

주요 결과

• FOMAML과 Reptile은 여러 몇-shot 벤치마크에서 MAML과 비교할 만하며, Reptile은 Mini-ImageNet과 Omniglot에서 보고된 설정에서 종종 FOMAML보다 더 근접하거나 약간 앞서 있습니다.
• Reptile은 초기화를 태스크 학습된 가중치 쪽으로 이동시키고 다수의 내부 루프 그래디언트를 사용할 때 이익을 얻으며, 더 많은 내부 루프 단계나 그래디언트(특히 그래디언트 합산) 사용할 때 개선이 나타난다.
• 테일러 급수 분석은 선도 차항이 AvgGrad가 공동 태스크 손실을 최소화하고, AvgGradInner가 내적 태스크 그래디언트 정렬을 증가시켜 태스크 내 일반화를 돕는다고 보여준다.
• Reptile의 업데이트는 예상 손실에 대한 동시 학습과 밀접하게 관련되지만, 태스크 내 여러 미니배치 간 그래디언트를 정렬하는 경향이 있는 추가 항이 있어 일반화를 향상시킨다.
• 실험은 변환(transduction, 배치 정규화 기반 테스트 시 공유)이 모든 방법의 성능을 높임을 보여주고, 내부 루프 매개변수 선택(공유 꼬리 vs 분리 꼬리, 배치 크기)이 FOMAML에 비해 Reptile보다 더 크게 영향을 미친다.
• 사인파 회귀 사례 연구는 MAML과 Reptile이 메타 학습 없이 공동 학습으로 달성할 수 없는 빠른 후 학습 적응을 가능하게 하는 초기 표현을 학습할 수 있음을 보여준다.