[논문 리뷰] MetaDiff: Meta-Learning with Conditional Diffusion for Few-Shot Learning

Baoquan Zhang, Luo, Chuyao외 5명|arXiv (Cornell University)|2023. 07. 31.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

MetaDiff는 소수 샘플 학습에서 경사 하강법 과정을 조건부 확산 노이즈 제거 과정으로 모델링하는 새로운 메타학습 프레임워크를 제안한다. 이로 인해 이차 도함수 계산이 필요 없고 메모리 오버헤드도 감소한다. 최적화 과정에서 모델 가중치의 노이즈를 예측하기 위해 작업 조건부 U-Net을 훈련시켜, miniImageNet과 tiered-ImageNet에서 기존의 기울기 기반 메타학습 방법보다 일관되게 1~3%의 정확도 향상을 달성한다.

ABSTRACT

Equipping a deep model the abaility of few-shot learning, i.e., learning quickly from only few examples, is a core challenge for artificial intelligence. Gradient-based meta-learning approaches effectively address the challenge by learning how to learn novel tasks. Its key idea is learning a deep model in a bi-level optimization manner, where the outer-loop process learns a shared gradient descent algorithm (i.e., its hyperparameters), while the inner-loop process leverage it to optimize a task-specific model by using only few labeled data. Although these existing methods have shown superior performance, the outer-loop process requires calculating second-order derivatives along the inner optimization path, which imposes considerable memory burdens and the risk of vanishing gradients. Drawing inspiration from recent progress of diffusion models, we find that the inner-loop gradient descent process can be actually viewed as a reverse process (i.e., denoising) of diffusion where the target of denoising is model weights but the origin data. Based on this fact, in this paper, we propose to model the gradient descent optimizer as a diffusion model and then present a novel task-conditional diffusion-based meta-learning, called MetaDiff, that effectively models the optimization process of model weights from Gaussion noises to target weights in a denoising manner. Thanks to the training efficiency of diffusion models, our MetaDiff do not need to differentiate through the inner-loop path such that the memory burdens and the risk of vanishing gradients can be effectvely alleviated. Experiment results show that our MetaDiff outperforms the state-of-the-art gradient-based meta-learning family in few-shot learning tasks.

연구 동기 및 목표

• 내부 루프 최적화 경로를 통해 역전파하는 과정에서 발생하는 높은 메모리 비용과 기울기 소실 문제를 해결하기 위해.
• 확산 모델과 유사한 노이즈 제거 과정으로 경사 하강법 과정을 재해석함으로써 메타학습에 대한 새로운 시각을 탐색하기 위해.
• 기본 학습기 가중치를 무작위 초기화에서 목표 가중치로 이动시키는 기울기 기반, 메모리 효율적인 방식으로 최적화를 학습할 수 있는 조건부 확산 프레임워크를 설계하기 위해.
• 이중 최적화를 확산 기반 메타 최적화기 훈련 파라다임으로 대체하여 소수 샘플 학습 성능을 향상시키기 위해.

제안 방법

• 내부 루프 경사 하강법 과정을, 모델 가중치가 가우시안 노이즈에서 최적 값으로 점차 노이즈 제거되는 역확산 과정으로 재해석한다.
• 소수 샘플 지원 세트 데이터에 조건부로 각 확산 단계에서의 노이즈를 예측하기 위해 작업 조건부 U-Net(TCUNet)을 제안한다.
• 예측된 노이즈와 실제 모델 가중치의 노이즈 간 L2 차이를 최소화하는 노이즈 제거 손실을 사용해 모델을 훈련시킨다.
• 메타 최적화기는 역전파를 내부 루프 경로를 통해 하지 않는 방식으로 확산 방식으로 학습되어, 이차 도함수 계산이 완전히 제거된다.
• 프로토타입 및 선형 분류기 모두에 적용되어, 다양한 헤드 아키텍처에 걸쳐 일반화됨을 입증한다.
• 지원 세트가 각 시간 단계에서 노이즈 예측의 조건이 되는 조건부 확산 설정에서 엔드 투 엔드로 훈련이 수행된다.

실험 결과

연구 질문

• RQ1 메타학습에서의 경사 하강법 과정이 확산 모델의 노이즈 제거 과정으로 효과적으로 모델링될 수 있는가?
• RQ2 이중 최적화를 확산 기반 메타 최적화기로 대체함으로써 메모리 소비를 줄이고 훈련 안정성을 향상시킬 수 있는가?
• RQ3 소수의 지원 샘플만으로도 작업 조건부 U-Net이 최적화 과정 중 모델 가중치의 노이즈를 효과적으로 예측할 수 있는가?
• RQ4 제안된 MetaDiff 프레임워크가 기존 최상위 기울기 기반 메타학습 방법보다 뛰어난 소수 샘플 학습 성능을 달성하는가?
• RQ5 제안된 방법이 다양한 백본 네트워크와 분류기 유형에 걸쳐 강건하고 일반화 가능한가?

주요 결과

• MetaDiff는 miniImageNet과 tiered-ImageNet 양쪽에서 최상위 성능을 기록하며, 기존 기울기 기반 메타학습 방법보다 소수 샘플 정확도에서 1%에서 3%까지 일관되게 향상시킨다.
• Conv4와 ResNet12를 포함한 다양한 백본에 걸쳐 일관되게 성능 향상을 보이며, 강력한 일반화 능력과 아키텍처 독립성을 입증한다.
• MetaDiff는 내부 루프 단계 수와 관계없이 GPU 메모리 사용을 일정 수준으로 유지하지만, MetaLSTM 및 ALFA와 같은 기준 모델은 내부 루프 단계 수에 비례해 선형적으로 증가한다.
• 제거 실험 결과, 작업 조건부 U-Net과 노이즈 예측을 위한 L2 손실이 핵심임을 확인하였으며, 둘 중 하나를 제거하면 성능이 1%에서 3% 감소한다.
• 수렴 분석 결과, MetaDiff는 약 450단계의 노이즈 제거 과정 내에 안정적으로 수렴함을 보여주며, 신뢰할 수 있고 안정적인 훈련 동역학을 가짐을 시사한다.
• MetaDiff는 프로토타입 및 선형 분류기 모두에 대해 뛰어난 성능을 기록하여, 다양한 분류기 아키텍처에 걸쳐 넓은 적용 가능성을 확인한다.