[논문 리뷰] CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification

Philip Chikontwe, Soopil Kim외 1명|arXiv (Cornell University)|2022. 03. 25.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 공유된 자기주의 주의 모듈을 통해 지원 및 쿼리 특징을 공동으로 적응시키는 새로운 엔드 투 엔드 메타러닝 프레임워크인 CAD(Co-Adapting Discriminative Features)를 제안한다. 쿼리 및 지원 특징 간의 교차주의 점수를 계산하고 이를 표현을 재가중하는 데 사용함으로써, CAD는 프로토타입 학습을 향상시키고, 전이 학습이 필요 없이 표준 벤치마크에서 기존 방법보다 3%~5% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Few-shot classification is a challenging problem that aims to learn a model that can adapt to unseen classes given a few labeled samples. Recent approaches pre-train a feature extractor, and then fine-tune for episodic meta-learning. Other methods leverage spatial features to learn pixel-level correspondence while jointly training a classifier. However, results using such approaches show marginal improvements. In this paper, inspired by the transformer style self-attention mechanism, we propose a strategy to cross-attend and re-weight discriminative features for few-shot classification. Given a base representation of support and query images after global pooling, we introduce a single shared module that projects features and cross-attends in two aspects: (i) query to support, and (ii) support to query. The module computes attention scores between features to produce an attention pooled representation of features in the same class that is later added to the original representation followed by a projection head. This effectively re-weights features in both aspects (i & ii) to produce features that better facilitate improved metric-based meta-learning. Extensive experiments on public benchmarks show our approach outperforms state-of-the-art methods by 3%~5%.

연구 동기 및 목표

• 기존의 소수 샘플 학습 방법이 정적 프로토타입이나 제한된 특징 적응에 의존하는 데에 기인한 한계를 해결하기 위해.
• 교차관계주의를 사용해 동적으로 재가중된 특징을 활용해 메트릭 기반 메타러닝을 향상시키기 위해.
• 기본 클래스에서의 사전 훈련이 필요 없이, 전체 프로세스를 처음부터 엔드 투 엔드로 훈련시켜 종속성을 제거하기 위해.
• 주의 기반 프로토타입 정련을 통해 저샷 설정에서 특징의 밀도와 클래스 간 분리도를 향상시키기 위해.

제안 방법

• 전역 평균 풀링 이후, 지원 및 쿼리 특징 간의 교차주의를 계산하기 위해 단일 공유 다중헤드 자기주의 모듈을 도입한다.
• 기본 특징을 투영하고, 쿼리 → 지원 및 지원 → 쿼리 양 방향에 대해 스케일드-도트 곱주의 점수를 계산한다.
• 주의 가중치를 원본 특징에 적용하여 주의 풀링된 특징을 계산하고, 개선된 표현을 생성한다.
• 개선된 특징을 원본 투영된 특징에 더한 후, 최종 임bedding을 생성하기 위해 투영 헤드를 통과시킨다.
• 전체 프레임워크는 처음부터 엔드 투 엔드로 훈련되며, 명시적인 공간 대응 학습 없이도 특징의 분류 능력을 향상시킨다.
• 전체 프레임워크는 기본 클래스에서의 사전 훈련 없이도 처음부터 엔드 투 엔드로 훈련된다.

Figure 1 : Visual intuition of the proposed framework compared to other approaches using attention. (a) Standard ProtoNet [ 41 ] architecture with nearest neighbour classifier (NN). (b) Adaptation of support embeddings only without using relations in the query sets, with backbone pre-training [ 52 ]

실험 결과

연구 질문

• RQ1 교차주의를 통해 지원 및 쿼리 특징을 공동으로 적응시키는 것이 정적 프로토타입 학습을 초월해 소수 샘플 분류를 향상시킬 수 있는가?
• RQ2 사전 훈련 없이 엔드 투 엔드 훈련을 수행하더라도 소수 샘플 학습에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ3 쿼리 및 지원 특징 간의 교차주의가 특징의 밀도와 클래스 간 분리도에 어떤 영향을 미치는가?
• RQ4 쿼리 → 지원 및 지원 → 쿼리 주의의 기여도는 특징 재가중에 어떤 영향을 미치는가?
• RQ5 명시적인 픽셀 수준의 대응 없이도 주의 기반 특징 재가중이 공간주의 기반 메커니즘을 초월할 수 있는가?

주요 결과

• CAD는 mini-ImageNet과 같은 표준 소수 샘플 벤치마크에서 최신 기술 수준의 방법보다 3%~5%의 절대적 성능 향상을 달성한다.
• 제거 분석 결과, 오직 쿼리 → 지원 주의만 사용할 경우(예: MAB^S_h), 특히 1샷 설정에서 성능 저하가 심각하게 나타난다.
• 쿼리 전용 적응(MAB^Q_h)은 5샷 설정에서 전체 CAD 방법보다 약간 낮지만 일관된 성능을 기록한다.
• 공동 적응 없이 자기주의만 사용할 경우(MAB^*_h), 특히 극한의 저샷 환경에서 ProtoNet과 같은 기준 모델보다 성능 향상이 이루어지지 않는다.
• t-SNE 시각화 결과, CAD는 적응 후 더 밀도 있고 잘 분리된 특징 클러스터를 생성함을 확인했으며, 이는 일반화 능력 향상을 시사한다.
• 정성 분석 결과, 주의 점수는 배경 변화나 관련 없는 물체와 같은 간섭 요소를 효과적으로 억제하며, 의미적으로 관련 있는 특징에 집중함을 보여준다.

Figure 2 : Overview of the proposed approach . We employ episodic meta-training from scratch to learn discriminative co-adapted embedding for support and query images. Concretely, a shared backbone extracts globally pooled features $\mathbf{Z}$ and performs feature adaptation using a shared self-att