[논문 리뷰] Adaptive Cross-Modal Few-Shot Learning

Xing Chen, Negar Rostamzadeh외 2명|arXiv (Cornell University)|2019. 02. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 62인용 수 5

한 줄 요약

이 논문은 소수의 샘플로 학습하는 경우 시각적 특징과 의미적 특징을 적응적으로 융합함으로써 분류 정확도를 향상시키는 새로운 방법인 적응형 모odal 혼합 메커니즘(AM3)을 제안한다. 자료 부족 상황을 고려해 모달리티 기여도를 동적으로 가중함으로써, AM3는 단모달 및 모달리티 정렬 방법을 모두 능가하며, 특히 저샷 설정에서 최신 기술 수준의 성능을 달성한다. miniImageNet, tieredImageNet, CUB-200 데이터셋에서 최고의 성능을 기록하였다.

ABSTRACT

Metric-based meta-learning techniques have successfully been applied to few-shot classification problems. In this paper, we propose to leverage cross-modal information to enhance metric-based few-shot learning methods. Visual and semantic feature spaces have different structures by definition. For certain concepts, visual features might be richer and more discriminative than text ones. While for others, the inverse might be true. Moreover, when the support from visual information is limited in image classification, semantic representations (learned from unsupervised text corpora) can provide strong prior knowledge and context to help learning. Based on these two intuitions, we propose a mechanism that can adaptively combine information from both modalities according to new image categories to be learned. Through a series of experiments, we show that by this adaptive combination of the two modalities, our model outperforms current uni-modality few-shot learning methods and modality-alignment methods by a large margin on all benchmarks and few-shot scenarios tested. Experiments also show that our model can effectively adjust its focus on the two modalities. The improvement in performance is particularly large when the number of shots is very small.

연구 동기 및 목표

• 소규모 레이블 데이터로 인해 어려움을 겪는 단모달 소수의 샘플 학습 방법의 한계를 보완하기 위해 교차 모달 정보를 통합하기 위해.
• 이질적인 시각적 및 의미적 공간을 공유 구조로 강제로 통합하는 모달리티 정렬 접근법의 단점을 극복하기 위해.
• 자료 가용성과 카테고리 특성에 따라 시각적 및 의미적 모달리티의 강점을 적응적으로 활용할 수 있는 메커니즘을 개발하기 위해.
• 비지도 텍스트 특징를 맥락적 사전 지식으로 사용함으로써, 특히 저샷 설정에서 소수의 샘플로 학습하는 분류 성능을 향상시키기 위해.

제안 방법

• AM3는 ProtoNets++ 및 TADAM와 같은 메트릭 기반 메타학습 프레임워크에 기반하며, 소수의 샘플로 학습하는 분류를 위해 학습된 임bedding 공간을 사용한다.
• 이 방법은 추론 과정에서 시각적 특징과 의미적 특징 표현을 선형 조합하는 가속 가능한 혼합 계수 λ를 도입한다.
• 혼합 계수 λ는 각 에피소드와 각 클래스별로 예측되며, 소수의 샘플 학습 과제에 대한 각 모달리티의 강도에 따라 동적으로 적응할 수 있도록 한다.
• 모델은 에피소드 학습을 통해 엔드 투 엔드로 훈련되며, 각 에피소드는 시각적 및 의미적 양방향에서 지원 세트와 쿼리 세트를 포함하는 소수의 샘플 분류 과제를 시뮬레이션한다.
• AM3는 모달리티 정렬을 강제하지 않으며, 대신 시각적 및 의미적 특징을 독립적인 지식 소스로 간주하고 어느 쪽에 더 의존할지를 학습한다.
• 적응 메커니즘은 분류 정확도를 향상시키면서도 모달리티 주의도를 λ를 통해 학습할 수 있도록 유도하는 미분 가능한 손실 함수를 통해 최적화된다.

실험 결과

연구 질문

• RQ1 고정된 모달리티 정렬 또는 단모달 기반 모델을 넘어서, 시각적 및 의미적 특징의 적응적 융합이 소수의 샘플 분류 성능을 향상시킬 수 있는가?
• RQ2 모델의 모달리티 주의도(λ)는 다양한 샷 수와 카테고리 특성에 따라 어떻게 적응하는가?
• RQ3 시각적 데이터가 극도로 제한된 경우(예: 1샷) 비지도 텍스트 특징의 포함이 성능 향상에 뚜렷한 기여를 하는가?
• RQ4 시각 신호가 노이즈가 많거나 부족한 저샷 설정에서 적응 메커니즘이 더 효과적인가?
• RQ5 다양한 벤치마크에서 최신 기술 수준의 단모달 및 교차 모달 소수의 샘플 학습 방법과 비교해 AM3는 어떤가?

주요 결과

• TADAM 기반 모델을 사용한 AM3는 5-way 1-shot 설정에서 miniImageNet에서 69.08%의 정확도를 기록하여 이전 최고 기록을 크게 앞서 갔다.
• tieredImageNet에서 AM3-TADAM는 5-way 1-shot 설정에서 82.58%의 정확도를 달성하여 다양한 데이터셋에 걸쳐 뛰어난 일반화 능력을 보였다.
• 샷 수가 증가함에 따라 AM3와 기반 모델 간의 성능 격차가 줄어들며, 이는 적응 메커니즘이 시각적 자료가 부족한 경우에 가장 효과적임을 시사한다.
• 혼합 계수 λ의 분산은 성능 격차와 상관관계가 있다: λ의 분산이 낮을수록 성능 향상이 작으며, 이는 카테고리에 특화된 적응이 성능 향상의 핵심 요소임을 보여준다.
• AM3는 특히 1샷 설정에서 모달리티 정렬 기반 모델을 크게 앞서며, 강제로 정렬하는 것이 소수의 샘플 학습에서 성능을 해칠 수 있음을 시사한다.
• CUB-200에서 AM3는 소수의 샘플 학습 및 일반화된 소수의 샘플 학습 설정 모두에서 뛰어난 성능을 유지하며, 그 견고성과 일반화 능력을 확인했다.