[논문 리뷰] ProtoDiff: Learning to Learn Prototypical Networks by Task-Guided Diffusion

Yingjun Du, Zehao Xiao외 2명|arXiv (Cornell University)|2023. 06. 26.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

ProtoDiff는 소수의 샘플에서 학습하는 Few-shot 학습 환경에서 확률적이고 작업에 맞춘 프로토타입을 학습하기 위해 작업 유도형 확산 모델을 도입한다. 메타테스팅 중 노이즈에서 정교화된 프로토타입을 생성함으로써 결정론적 프로토타입 네트워크보다 성능을 향상시킨다. 메타학습을 통해 기존 프로토타입에서 과적합된 프로토타입으로 이르는 확산 과정을 학습함으로써 도메인 내, 도메인 간, 소수의 작업을 가진 소수의 샘플 설정에서 최신 기술 수준(SOTA) 성능을 달성한다. 잔차 프로토타입 학습은 학습을 가속화하고 정확도를 향상시킨다.

ABSTRACT

Prototype-based meta-learning has emerged as a powerful technique for addressing few-shot learning challenges. However, estimating a deterministic prototype using a simple average function from a limited number of examples remains a fragile process. To overcome this limitation, we introduce ProtoDiff, a novel framework that leverages a task-guided diffusion model during the meta-training phase to gradually generate prototypes, thereby providing efficient class representations. Specifically, a set of prototypes is optimized to achieve per-task prototype overfitting, enabling accurately obtaining the overfitted prototypes for individual tasks. Furthermore, we introduce a task-guided diffusion process within the prototype space, enabling the meta-learning of a generative process that transitions from a vanilla prototype to an overfitted prototype. ProtoDiff gradually generates task-specific prototypes from random noise during the meta-test stage, conditioned on the limited samples available for the new task. Furthermore, to expedite training and enhance ProtoDiff's performance, we propose the utilization of residual prototype learning, which leverages the sparsity of the residual prototype. We conduct thorough ablation studies to demonstrate its ability to accurately capture the underlying prototype distribution and enhance generalization. The new state-of-the-art performance on within-domain, cross-domain, and few-task few-shot classification further substantiates the benefit of ProtoDiff.

연구 동기 및 목표

• 제한된 지원 샘플로 인해 결정론적 프로토타입 추정이 취약해지는 문제를 해결하기 위해.
• 간단한 평균화에 의존하는 대신 프로토타입의 생성 과정을 학습함으로써 클래스 분포를 더 견고하게 모델링하기 위해.
• 난수에서 작업 전용 프로토타입으로 이르는 확산 기반 전이 과정을 학습함으로써 소수의 샘플 분류에서 일반화 능력과 적응 능력을 향상시키기 위해.
• 프로토타입 업데이트의 희소성을 활용하여 잔차 프로토타입 학습을 통해 학습을 가속화하고 성능을 향상시키기 위해.
• 다양한 벤치마크, 특히 도메인 간 및 소수의 작업 설정에서 소수의 샘플 학습의 새로운 최신 기술 수준을 확립하기 위해.

제안 방법

• 정확한 작업 전용 표현을 참조로 삼기 위해, 테스트 시점에 각 작업의 프로토타입 과적합을 달성하기 위해 프로토타입 집합을 최적화한다.
• 프로토타입 공간 내에서 작업 유도형 확산 과정을 도입하여, 난수에서 과적합된 프로토타입으로 이르는 노이즈 제거 과정을 학습한다.
• 메타테스팅 시점에 제한된 지원 세트 예시를 조건으로 삼아, 노이즈에서 작업 전용 프로토타입을 생성한다.
• 기본 프로토타입과 과적합된 프로토타입 간의 차이만 모델링하는 잔차 프로토타입 학습 체계를 활용하여 학습 효율성과 성능을 향상시킨다.
• 과적합된 프로토타입을 목표로 삼아, 프로토타입 공간을 노이즈 제거하는 역과정을 학습함으로써 확산 모델을 훈련한다.
• 최종 분류를 위해 생성된 프로토타입을 쿼리 특징과 거리 기반 학습(예: 코사인 유사도)을 통해 결합한다.

Figure 1 : Computational graph of ProtoDiff. In the initial stage, the computation of the vanilla prototype $\tilde{\mathbf{z}}$ is performed based on the support set $\mathcal{S}^{i}$ . Subsequently, through the process of diffusion sampling, the diffused prototype $\mathbf{z}_{t-1}$ is derived fro

실험 결과

연구 질문

• RQ1 소수의 샘플 학습에서 작업 전용 프로토타입을 생성하는 데에 확산 모델이 결정론적 평균화 방식보다 효과적으로 사용될 수 있는가?
• RQ2 프로토타입 공간 내에서의 작업 유도형 확산이 소수의 샘플 벤치마크에서 일반화 능력을 어떻게 향상시키는가?
• RQ3 잔차 프로토타입 학습이 프로토타입 기반 메타학습에서 학습 속도를 얼마나 가속화하고 성능 향상에 기여하는가?
• RQ4 도메인 간 소수의 샘플 학습에서, 지원 세트와 쿼리 세트 사이에 도메인 이동이 존재할 경우 ProtoDiff가 효과적으로 일반화되는가?
• RQ5 소수의 작업만을 가진 소수의 샘플 학습 환경에서 ProtoDiff가 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 5-way 1-shot 설정에서 mini-ImageNet-S에서 44.75%의 정확도를 기록하여 MetaModulation을 1.54% 초월하고 새로운 SOTA를 수립했다.
• 어려운 DermNet-S 데이터셋에서 5-way 1-shot 설정에서 51.53%의 정확도를 기록하여 이전 최고 성능 방법보다 1.08% 높였다.
• ChestX에서 도메인 간 소수의 샘플 학습에서 5-way 5-shot 설정에서 28.54%의 정확도를 기록하여 HVM을 1.39% 초월했다.
• 도메인 내, 도메인 간, 소수의 작업 설정을 포함한 모든 벤치마크 및 설정에서 기준 모델을 일관되게 향상시켰다.
• 잔차 프로토타입 학습은 학습 시간을 단축시키고 성능 향상을 이끌어내어 희소성 인식 프로토타입 업데이트의 효과성을 입증했다.
• 확산 샘플링으로 인한 높은 추론 비용에도 불구하고 ProtoDiff는 뛰어난 성능과 일반화 능력을 유지하여 정확도와 효율성의 상충 관계가 타당함을 입증했다.

Figure 2 : Visualization of the diffusion process. ProtoDiff randomly selects certain areas to predict during the diffusion process, with the lowest probability at the beginning time step. As time progresses, the prototype gradually aggregates towards the dog , with the highest probability at t=0.