[논문 리뷰] HyperMAML: Few-Shot Adaptation of Deep Models with Hypernetworks

M. Przewięźlikowski, Przemysław Przybysz외 3명|arXiv (Cornell University)|2022. 05. 31.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

HyperMAML는 MAML의 기울기 기반 가중치 갱신을 학습 가능한 하이퍼넷워크로 대체하는 새로운 소수의 학습 프레임워크를 제안한다. 이는 단일 스텝 내에서 기울기 기반 갱신이 아닌 상당한 비기울기 기반 파rameter 갱신을 가능하게 하여, MAML 및 표준 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 계산 비용을 줄이고 생물학적 타당성을 향상시킨다.

ABSTRACT

The aim of Few-Shot learning methods is to train models which can easily adapt to previously unseen tasks, based on small amounts of data. One of the most popular and elegant Few-Shot learning approaches is Model-Agnostic Meta-Learning (MAML). The main idea behind this method is to learn the general weights of the meta-model, which are further adapted to specific problems in a small number of gradient steps. However, the model's main limitation lies in the fact that the update procedure is realized by gradient-based optimisation. In consequence, MAML cannot always modify weights to the essential level in one or even a few gradient iterations. On the other hand, using many gradient steps results in a complex and time-consuming optimization procedure, which is hard to train in practice, and may lead to overfitting. In this paper, we propose HyperMAML, a novel generalization of MAML, where the training of the update procedure is also part of the model. Namely, in HyperMAML, instead of updating the weights with gradient descent, we use for this purpose a trainable Hypernetwork. Consequently, in this framework, the model can generate significant updates whose range is not limited to a fixed number of gradient steps. Experiments show that HyperMAML consistently outperforms MAML and performs comparably to other state-of-the-art techniques in a number of standard Few-Shot learning benchmarks.

연구 동기 및 목표

• 소수의 학습에서 MAML의 기울기 기반 내부 루프 최적화의 생물학적 비타당성과 계산 비효율성 문제를 해결하기 위해.
• MAML의 내부 루프 최적화와 관련된 하이퍼파ram터 수와 학습 복잡성을 줄이기 위해.
• 반복적인 기울기 하강법에 의존하지 않고도 소수의 적응에서 더 효과적인 가중치 갱신을 가능하게 하기 위해.
• 최소한의 데이터로 다양한 소수의 작업에 대해 더 잘 일반화되는 메타학습 프레임워크를 개발하기 위해.
• 추론 중에 다중 기울기 단계가 필요 없게 하여 계산 효율성을 향상시키기 위해.

제안 방법

• HyperMAML는 지원 세트에서 태스크별 가중치 갱신을 생성하는 학습 가능한 하이퍼넷워크로 MAML의 표준 기울기 갱신을 대체한다.
• 하이퍼넷워크는 추론 중에 역전파를 피하기 위해 지원 세트 입력에서 효과적인 파라미터 갱신으로 매핑하는 방식으로 종합적으로 훈련된다.
• 주 모델의 가중치는 하이퍼넷워크의 출력을 사용해 태스크당 한 번만 갱신되며, 이로 인해 다중 내부 루프 최적화 단계가 필요 없어진다.
• 하이퍼넷워크는 단일 갱신 후 쿼리 세트에서의 성능을 평가하는 메타손실을 사용해 메타최적화 방식으로 훈련된다.
• 갱신 가중치에 대한 기울기 계산이 필요 없기 때문에 두 번째 순서 최적화를 피함으로써 훈련을 단순화한다.
• 프레임워크는 모델 무관성 유지로 어떤 신경망 아키텍처에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 하이퍼넷워크 기반 갱신 메커니즘이 소수의 메타학습에서 기울기 기반 갱신보다 우월한가?
• RQ2 반복적인 기울기 하강법을 단일 학습 가능한 갱신으로 대체함으로써 소수의 설정에서 일반화와 정확도가 향상되는가?
• RQ3 MAML에 비해 하이퍼넷워크 기반 접근이 계산 비용과 하이퍼파ram터 민감도를 줄이는가?
• RQ4 분포 이탈이 발생하는 교차 도메인 소수의 적응에서 이 방법은 어떻게 성능을 보이는가?
• RQ5 기울기 기반 최적화보다 하이퍼넷워크 기반 갱신이 생물학적으로 더 타당한가?

주요 결과

• Omniglot → EMNIST 1-shot 분류 벤치마크에서 HyperMAML는 80.78%의 정확도를 달성하여 MAML의 74.81%를 초월하고, 최신 기술 수준인 HyperShot+fine-tuning(80.65%)에 근접했다.
• 5-shot Omniglot → EMNIST 태스크에서 HyperMAML는 89.22%의 정확도를 기록했으며, HyperShot(90.81%) 및 DKT(90.30%)와 유사한 성능을 보였다.
• 도전적인 mini-ImageNet → CUB 교차 도메인 설정에서 HyperMAML는 MAML, ProtoNet 및 Matching Networks와 유사한 성능을 보였으며, 특히 1-shot 환경에서 뛰어난 성능을 보였다.
• HyperMAML는 전체 Omniglot → EMNIST 테스트 세트를 8.21초 내에 처리했으며, 단지 2단계 기울기 갱신을 사용하는 MAML와 동일한 속도를 기록했지만, 훨씬 높은 정확도를 달성했다.
• 100단계 기울기 갱신을 사용한 MAML도 HyperMAML의 정확도(74.86% 대 80.78%)를 따라잡지 못했으며, 이는 하이퍼넷워크 갱신 메커니즘이 열등하지 않음을 입증한다.
• 내부 루프 학습률과 단계 수를 탐색할 필요가 없어지면서 하이퍼파ram터 튜닝의 복잡성이 감소했다.