[논문 리뷰] Transductive Decoupled Variational Inference for Few-Shot Classification

Anuj Singh, Hadi Jamali‐Rad|arXiv (Cornell University)|2022. 08. 22.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

TRIDENT는 소수의 샘플에서 분류 성능을 향상시키기 위해 이미지 표현을 의미론적 잠재변수와 레이블 특화 잠재변수로 분리하는 전이적, 분리된 변분 추론 프레임워크를 제안한다. 이는 주의 기반 전이적 특징 추출 모듈(AttFEX)을 통해 작업에 특화된 표현을 향상시킨다. TRIDENT은 miniImageNet, tieredImageNet, 그리고 도메인 간 이질성이 큰 miniImageNet→CUB 설정에서 최신 기준(SOTA) 성능을 달성하며, 각각 최대 5%와 20%의 정확도 향상을 보였다.

ABSTRACT

The versatility to learn from a handful of samples is the hallmark of human intelligence. Few-shot learning is an endeavour to transcend this capability down to machines. Inspired by the promise and power of probabilistic deep learning, we propose a novel variational inference network for few-shot classification (coined as TRIDENT) to decouple the representation of an image into semantic and label latent variables, and simultaneously infer them in an intertwined fashion. To induce task-awareness, as part of the inference mechanics of TRIDENT, we exploit information across both query and support images of a few-shot task using a novel built-in attention-based transductive feature extraction module (we call AttFEX). Our extensive experimental results corroborate the efficacy of TRIDENT and demonstrate that, using the simplest of backbones, it sets a new state-of-the-art in the most commonly adopted datasets miniImageNet and tieredImageNet (offering up to 4% and 5% improvements, respectively), as well as for the recent challenging cross-domain miniImagenet --> CUB scenario offering a significant margin (up to 20% improvement) beyond the best existing cross-domain baselines. Code and experimentation can be found in our GitHub repository: https://github.com/anujinho/trident

연구 동기 및 목표

• 낮은 데이터 환경에서 기존 소수의 샘플 학습 방법의 한계, 특히 샘플 편향과 새로운 클래스로의 일반화 능력 부족 문제를 해결한다.
• 이미지 표현을 의미론적 잠재변수와 레이블 특화 잠재변수로 분리하여 분류의 강건성 향상과 관련 없는 맥락 정보의 분리에 기여한다.
• 새로운 주의 기반 전이적 특징 추출 기법을 통해 지원(set) 및 쿼리(query) 이미지의 정보를 통합하여 작업에 특화된 인식 능력을 향상시킨다.
• 모델 파라미터와 클래스 프로토타입에 대한 분포 추론을 통해 점추정(point estimate)에 의존하지 않고 소수의 샘플 설정에서의 일반화 능력을 향상시킨다.
• 표준 소수의 샘플 벤치마크와 도메인 간 이질성이 큰 소수의 샘플 시나리오에서 뛰어난 성능을 입증한다.

제안 방법

• 이미지에서 의미론적(z_s) 및 레이블(z_l) 잠재변수를 동시에 추론하기 위해 두 개의 상호 연결된 하위 네트워크를 갖는 변분 추론 네트워크를 제안한다.
• AttFEX는 지원(set) 및 쿼리(query) 이미지의 특징을 융합하여 작업에 특화된 표현을 생성하는 주의 기반 전이적 특징 추출 모듈을 도입한다.
• MAML 방식의 적응을 사용한 메타학습 프레임워크를 통해 작업별 지원 세트에 기반해 잠재변수 추론 네트워크를 업데이트한다.
• 사전 분포 추론을 두 개의 별도된 변분 근사로 분리한다: 의미론적 콘텐츠(z_s)에 대한 하나와 분류적 레이블 특성(z_l)에 대한 하나.
• AttFEX에서 기하학적 주의 기반 메커니즘을 적용하여 소수의 샘플 작업 내 모든 이미지의 특징을 동적으로 가중함으로써 이미지 간 비교 및 정렬을 가능하게 한다.
• 정확한 사후 근사와 작업별 적응을 장려하는 변분 하한(ELBO)을 최적화하여 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 이미지 표현을 의미론적 잠재변수와 레이블 특화 잠재변수로 분리하는 것이 소수의 샘플 분류 성능 향상에 기여하는가?
• RQ2 주목적 기반 전이적 특징 추출을 통해 지원 및 쿼리 이미지의 정보를 융합하면 작업에 특화된 인식 능력과 분류 정확도가 향상되는가?
• RQ3 잠재변수에 대한 분포 추론을 수행하는 변분 추론 프레임워크가 점추정 기반의 기존 방법보다 낮은 데이터 환경에서 더 나은 성능을 내는가?
• RQ4 miniImageNet에서 CUB로의 도메인 이동 상황에서 제안된 방법은 어떻게 일반화되는가?
• RQ5 소수의 샘플 분류 성능을 극대화하기 위해 최적의 잠재공간 및 특징맵 차원은 무엇인가?

주요 결과

• TRIDENT는 5-way, 1-shot miniImageNet 벤치마크에서 86.11%의 새로운 최고 성능을 기록하며, 이는 이전 최고 성능(SOTA) 방법보다 최대 5% 향상된 결과이다.
• tieredImageNet에서 TRIDENT는 기존 베이스라인 대비 5% 향상된 성능을 기록하여 표준 소수의 샘플 벤치마크에서 뛰어난 일반화 능력을 입증하였다.
• 도메인 간 이질성이 큰 설정(예: miniImageNet → CUB)에서 TRIDENT는 최고의 기존 베이스라인 대비 20%의 상대적 성능 향상을 기록하며 도메인 이동에 대한 강건성을 입증하였다.
• 제거 분석 결과 최적의 잠재차원은 z_l과 z_s 모두 (64, 64)로, 이 이상으로 증가하면 성능이 저하됨을 확인하였다.
• AttFEX는 쿼리 특징맵 차원(W_M)이 지원 맵 차원(W_N)을 초과할 경우 성능 향상이著명하며, 특히 (64, 32) 조합에서 최고 성능을 기록하였다.
• UMAP 및 Davies-Bouldin 점수를 활용한 정성적 분석 결과, 메타적 적응 후 레이블 잠재공간(z_l)은 의미론적 공간(z_s)보다 훨씬 뛰어난 클래스 간 분리도와 군집화 성능를 보였다.