[논문 리뷰] Task Discrepancy Maximization for Fine-grained Few-Shot Classification

SuBeen Lee, WonJun Moon외 1명|arXiv (Cornell University)|2022. 07. 04.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 미세 분류(fine-grained) 소수 샘플 분류를 위한 새로운 모듈인 작업 불일치 최대화(Task Discrepancy Maximization, TDM)를 제안한다. TDM는 지원 집합에서 분류별 채널 가중치를 학습하여 특징의 분류 능력을 향상시킨다. TDM는 지원 집합에서 분류적 특징을 가진 채널을 식별하는 데 사용하는 지원 주의 모듈(Support Attention Module, SAM)과 질의 이미지에서 객체 관련 채널을 적응적으로 강조하는 질의 주의 모듈(Query Attention Module, QAM)을 활용하여, CUB, Aircraft, meta-iNat 벤치마크 전반에서 정확도를 크게 향상시킨다.

ABSTRACT

Recognizing discriminative details such as eyes and beaks is important for distinguishing fine-grained classes since they have similar overall appearances. In this regard, we introduce Task Discrepancy Maximization (TDM), a simple module for fine-grained few-shot classification. Our objective is to localize the class-wise discriminative regions by highlighting channels encoding distinct information of the class. Specifically, TDM learns task-specific channel weights based on two novel components: Support Attention Module (SAM) and Query Attention Module (QAM). SAM produces a support weight to represent channel-wise discriminative power for each class. Still, since the SAM is basically only based on the labeled support sets, it can be vulnerable to bias toward such support set. Therefore, we propose QAM which complements SAM by yielding a query weight that grants more weight to object-relevant channels for a given query image. By combining these two weights, a class-wise task-specific channel weight is defined. The weights are then applied to produce task-adaptive feature maps more focusing on the discriminative details. Our experiments validate the effectiveness of TDM and its complementary benefits with prior methods in fine-grained few-shot classification.

연구 동기 및 목표

• 전반적인 외관이 유사한 미세 분류 클래스를 구분하는 데 어려움을 해결하기 위해 국소적 세부 정보에 집중한다.
• 기존 소수 샘플 방법들이 모든 특징 채널을 동일하게 취급하여, 미세 분류 데이터셋에서 성능에 악영향을 미치는 문제를 해결한다.
• 클래스별 분류 능력에 기반해 동적으로 채널을 가중하는 작업 적응형 특징 정렬 기법을 개발한다.
• 지원 집합에서의 편향에 대응하기 위해 질의에 기반한 주의를 통합하여 동적 적응을 보장한다.

제안 방법

• TDM는 지원 집합 특징을 기반으로 클래스별 채널 가중치를 계산하는 지원 주의 모듈(SAM)을 도입하여 높은 분류 능력을 가진 채널을 강조한다.
• 질의 이미지에서 객체 관련 특징을 강조하기 위해 질의에 특화된 채널 가중치를 생성하는 질의 주의 모듈(QAM)을 활용한다. 이는 노이즈를 감소시키고 국소화 성능을 향상시킨다.
• 개별 채널 맵과 공간 평균 특징 맵 간의 유사도를 측정하여 채널 가중치를 계산한다. 이 공간 평균 특징 맵은 객체 수준의 의미 정보를 캡슐화한다.
• TDM는 SAM과 QAM의 가중치를 조합하여 작업별, 클래스별 채널 가중치를 생성하고, 이를 통해 특징 맵을 재가중하여 분류 능력을 향상시킨다.
• 기존 소수 샘플 학습 프레임워크와의 통합을 가능하게 하기 위해 유사도 거리 측정 기준(예: 유클리드 거리, 코사인 거리)과 호환된다.
• 평균 풀링을 사용하여 기준 공간 평균 특징 맵을 계산한다. 이는 최대 풀링 대비 노이즈에 더 강건하기 때문이다.

Figure 1 : Effect of the channel weight in the CUB dataset. (a) Existing methods treat channels of feature maps equally. In such case, high variance channels within a class highly likely to disturb the classification task, where channel variance represents the channel-wise variances of feature maps

실험 결과

연구 질문

• RQ1 전반적인 외관이 매우 유사한 미세 분류 데이터셋에서 분류별 채널 가중치를 학습하는 것이 소수 샘플 분류 성능을 향상시킬 수 있는가?
• RQ2 지원 및 질의 특징을 바탕으로 동적으로 채널 중요도를 적응시키는 모듈은 편향을 줄이고 국소화 성능을 향상시키는 데 얼마나 효과적인가?
• RQ3 TDM는 기존의 특징 정렬 방법보다 미세 분류 소수 샘플 학습 벤치마크에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 제안된 방법은 다양한 유사도 거리 측정 기준과 백본 아키텍처 간에서 강건하고 호환 가능한가?

주요 결과

• CUB 데이터셋에서 1-shot 설정에서 TDM는 69.94%의 정확도를 기록하여 기준 모델인 ProtoNet보다 7.04%p 높은 성능을 보였다.
• Aircraft 데이터셋에서 TDM는 1-shot 정확도를 47.37%에서 50.55%로 향상시키고, 5-shot 정확도를 68.96%에서 71.12%로 개선했다.
• meta-iNat에서 FRN과 결합했을 경우, TDM는 1-shot 정확도를 61.98%에서 63.97%로, 5-shot 정확도를 80.04%에서 81.60%로 향상시켰다.
• 절단 실험 결과, SAM과 QAM는 효과적이며 상호 보완적인 것으로 확인되었으며, SAM은 11%p의 성능 향상을 기록했고, QAM는 일관된 개선 효과를 보였다.
• TDM는 코사인 거리에서도 뛰어난 성능을 유지하여 다양한 거리 기반 학습 프레임워크와 호환됨을 입증했다.
• 평균 풀링이 최대 풀링보다 성능이 뛰어나, 특징 표현에서 노이즈에 대한 강건성을 확인했다.

Figure 2 : Visualization of pooling results. Each column shows the locations where each pooling method focuses on the image. The second and third columns visualize the results of average pooling and the max pooling, respectively. GAP tends to concentrate on the object parts in the images, while GMP