[논문 리뷰] Finding Task-Relevant Features for Few-Shot Learning by Category Traversal

Hongyang Li, David Eigen외 3명|arXiv (Cornell University)|2019. 05. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 96

한 줄 요약

이 논문은 Category Traversal Module (CTM)을 도입하여 모든 지원 클래스에서 작업 관련 특성 차원을 식별하고, miniImageNet 및 tieredImageNet에서 메트릭 기반의 몇-shot 학습 성능을 약 5–10% 향상시킵니다. CTM은 플러그앤플레이로 작동하며 여러 베이스라인을 끌어올립니다.

ABSTRACT

Few-shot learning is an important area of research. Conceptually, humans are readily able to understand new concepts given just a few examples, while in more pragmatic terms, limited-example training situations are common in practice. Recent effective approaches to few-shot learning employ a metric-learning framework to learn a feature similarity comparison between a query (test) example, and the few support (training) examples. However, these approaches treat each support class independently from one another, never looking at the entire task as a whole. Because of this, they are constrained to use a single set of features for all possible test-time tasks, which hinders the ability to distinguish the most relevant dimensions for the task at hand. In this work, we introduce a Category Traversal Module that can be inserted as a plug-and-play module into most metric-learning based few-shot learners. This component traverses across the entire support set at once, identifying task-relevant features based on both intra-class commonality and inter-class uniqueness in the feature space. Incorporating our module improves performance considerably (5%-10% relative) over baseline systems on both mini-ImageNet and tieredImageNet benchmarks, with overall performance competitive with recent state-of-the-art systems.

연구 동기 및 목표

• few-shot 학습에서 지원 클래스가 독립적으로 취급될 때 작업 인지적 특성 선택의 필요성을 동기화한다.
• intra-class 공통성 및 inter-class 고유성을 활용하여 작업 관련 특징 차원을 식별하는 플러그앤플레이 모듈을 개발한다.
• CTM을 기존의 메트릭 기반 few-shot 학습자와 통합하여 임베딩의 판별성을 향상시킨다.
• 표준 벤치마크에서 광범위한 ablations 및 비교를 통해 CTM의 효과를 입증한다.

제안 방법

• CTM은 intra-class 공통성을 가지는 concentrator와 inter-class 고유성을 가지는 projector로 구성된다.
• Concentrator는 차원을 축소하고 클래스 내 특징을 집계하여 클래스별 임베딩 ‘o’를 생성한다.
• Projector는 클래스를 Across로 집계하여 작업 관련 특징 차원을 선택하는 마스크 ‘p’를 생성한다.
• 마스크를 지원 및 쿼리 임베딩에 적용하여 향상된 특징 I(S) 및 I(Q)를 얻는다.
• CTM을 기존의 메트릭 기반 few-shot 학습자(Matching Net, Prototypical Net, Relation Net)에 r(S) ⊙ p, r(Q) ⊙ p와의 유사도로 대체하여 내재된 특징을 강화한다.
• miniImageNet 및 tieredImageNet에서 표준 5-way/1–5-shot 설정으로 에피소드 기반 학습 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 지원 세트에 대한 교차 범주 관점이 few-shot 학습에서 작업 관련 특징의 식별을 개선할 수 있는가?
• RQ2 CTM이 기존의 메트릭 기반 few-shot 학습자들을 개선하는가, 벤치마크 전반에서 얼마나 개선되는가?
• RQ3 성능 향상에 필수적인 CTM 구성 요소(Concentrator, Projector)는 무엇인가?
• RQ4 CTM은 학습된 특징 공간의 판별성 측면에서 어떤 영향을 미치는가?

주요 결과

• CTM은 기존의 메트릭 기반 방법들과 통합될 때 miniImageNet 및 tieredImageNet에서 약 5–10%의 상대적 이득을 지속적으로 제공합니다.
• CTM은 1-shot 및 5-shot 설정에서 Matching Net, Prototypical Net 및 Relation Net을 여러 포인트에 걸쳐 개선합니다.
• 더 깊은 백본(ResNet-18)과 CTM의 결합은 성능을 크게 높여주며(예: Table 4의 1-shot miniImageNet에서 CTM으로 62.05%로 상승).
• ablations에서 concentrator나 projector 중 하나를 제거하면 성능이 저하되어 두 구성 요소가 최상의 결과에 필요함이 확인됩니다.
• CTM의 데이터 보강 버전은 결과를 더 향상시키며(예: miniImageNet 1-shot 64.12%, tiered 1-shot 68.41% 보강),
• t-SNE 시각화는 CTM 기반 마스킹 적용 후 더 촘촘하고 판별력이 높은 클러스터를 보임을 시사합니다.