[논문 리뷰] When MAML Can Adapt Fast and How to Assist When It Cannot

Sébastien M. R. Arnold, Shariq Iqbal외 1명|arXiv (Cornell University)|2019. 10. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 5

한 줄 요약

이 논문은 MAML에서 깊은 신경망이 빠른 적응을 가능하게 하는 이유를 조사하며, 특히 상층부 레이어에서의 깊이가 하위 레이어를 위한 암묵적 메타 최적화기로 작용함을 밝혀낸다. 또한 얕은 모델에서의 적응을 향상시키기 위해 외부 메타 최적화기인 meta-kfo를 제안하며, 깊은 네트워크가 하위 레이어의 기울기를 변환함으로써 메타학습 능력을 크게 향상시키는 '내장된 메타 최적화기'로 작용한다고 이론화한다.

ABSTRACT

Model-Agnostic Meta-Learning (MAML) and its variants have achieved success in meta-learning tasks on many datasets and settings. On the other hand, we have just started to understand and analyze how they are able to adapt fast to new tasks. For example, one popular hypothesis is that the algorithms learn good representations for transfer, as in multi-task learning. In this work, we contribute by providing a series of empirical and theoretical studies, and discover several interesting yet previously unknown properties of the algorithm. We find MAML adapts better with a deep architecture even if the tasks need only a shallow one (and thus, no representation learning is needed). While echoing previous findings by others that the bottom layers in deep architectures enable representation learning, we also find that upper layers enable fast adaptation by being meta-learned to perform adaptive gradient update when generalizing to new tasks. Motivated by these findings, we study several meta-optimization approaches and propose a new one for learning to optimize adaptively. Those approaches attain stronger performance in meta-learning both shallower and deeper architectures than MAML.

연구 동기 및 목표

• 얕은 모델로도 해결 가능한 임무임에도 불구하고 MAML에서 깊은 아키텍처가 빠른 적응을 가능하게 하는 이유를 이해하는 것.
• 특히 임무에 깊이가 필요하지 않은 상황에서 모델의 깊이와 아키텍처가 메타학습 능력에 미치는 역할을 조사하는 것.
• 외부 메타 최적화기를 도입하여 얕은 모델의 메타학습 성능을 향상시키는 방법을 개발하고 검증하는 것.
• 깊은 네트워크의 상위 레이어가 하위 레이어를 위한 내부 메타 최적화기로 작용하며 기울기를 변환하여 효과적인 적응을 가능하게 한다는 이론을 제시하는 것.

제안 방법

• 다양한 모델 깊이를 가진 MAML 및 변종을 소수의 샘플 학습 벤치마크(Omniglot, CIFAR-FS, mini-ImageNet)에서 실증적으로 평가한다.
• 더 작은 얕은 모델의 기울기를 변환하는 데에 학습하는 meta-kfo라는 메타 최적화기를 도입한다.
• 모델링 능력에 영향을 주지 않으면서 깊이를 증가시키기 위해 얕은 모델의 출력에 선형 레이어를 추가하여 메타학습 능력에 미치는 영향을 테스트한다.
• 깊은 네트워크의 상위 레이어가 하위 레이어의 기울기를 변환함으로써 암묵적으로 외부 메타 최적화기로 작용한다고 이론화한다.
• 기존의 조절 방법(Meta-SGD, T-Nets)과 ANIL을 meta-kfo와 비교하여 다양한 모델 크기에서 성능을 분석한다.
• 수학적으로 다룰 수 있는 모델의 이론적 분석을 통해 기울기 변환과 메타학습 능력에 관한 가설을 도출한다.

실험 결과

연구 질문

• RQ1 왜 임무가 얕은 모델이나 선형 모델로도 해결 가능한 데도 불구하고 깊은 모델이 MAML에서 더 빠른 적응을 가능하게 하는가?
• RQ2 깊은 네트워크에서 상위 레이어가 메타학습에 기여하는 구체적인 역할은 무엇인가?
• RQ3 부족한 깊이로 인해 메타학습 능력이 떨어지는 모델에서 외부 메타 최적화기가 이를 보완할 수 있는가?
• RQ4 얕은 모델의 출력에 선형 레이어를 추가하면 메타학습 능력에 어떤 영향을 미치는가?
• RQ5 meta-kfo와 같은 메타 최적화기의 성능이 모델 깊이에 얼마나 의존하는가?

주요 결과

• MAML은 임무가 얕은 모델로도 해결 가능한 경우에도 더 깊은 아키텍처에서 더 나은 적응 성능을 보이며, 깊이가 메타학습 능력에 핵심적임을 시사한다.
• 얕은 모델의 출력에 선형 레이어를 추가하면 모델링 능력에 영향을 주지 않으면서 깊이를 증가시키고, 이는 적응 성능을 크게 향상시킨다.
• meta-kfo는 MAML 및 기타 조절 방법보다 뛰어난 성능을 보이며, 특히 작은 모델에서 가장 큰 향상을 보였다. 가장 큰 향상은 Omniglot과 CIFAR-FS에서 관찰되었다.
• 모델 깊이가 증가함에 따라 meta-kfo의 성능 향상 폭이 감소함을 확인하여, 깊은 네트워크가 자연스럽게 상위 레이어에서 메타 최적화를 내장하고 있다는 이론을 지지한다.
• 실증 결과는 깊은 네트워크의 상위 레이어가 효과적인 기울기 변환기를 수행함을 확인하며, 하위 레이어에 대해 외부 메타 최적화기와 유사한 기능을 한다.
• 연구는 깊은 네트워크의 상위 레이어가 암묵적으로 기울기 변환을 수행함으로써 하위 레이어를 효과적으로 메타 최적화함으로써 빠른 적응을 가능하게 한다는 증거를 제공한다.