[논문 리뷰] Rethinking Generalization in Few-Shot Classification

M. Hiller, Rongkai Ma외 2명|arXiv (Cornell University)|2022. 06. 15.

Domain Adaptation and Few-Shot Learning인용 수 29

한 줄 요약

본 논문은 FewTURE를 소개한다. 이는 토큰 재가중(token-reweighting) 및 유사도 기반의 few-shot 분류기로, 추론 시 온라인 최적화와 함께 작동하며, few-shot 태스크에서 일반화에 대한 자기지도(self-supervised) 사전학습의 이점을 보여주고, 모델 크기 및 구성요소에 대한 포괄적 어블레이션(ablation)도 수행한다.

ABSTRACT

Single image-level annotations only correctly describe an often small subset of an image's content, particularly when complex real-world scenes are depicted. While this might be acceptable in many classification scenarios, it poses a significant challenge for applications where the set of classes differs significantly between training and test time. In this paper, we take a closer look at the implications in the context of $ extit{few-shot learning}$. Splitting the input samples into patches and encoding these via the help of Vision Transformers allows us to establish semantic correspondences between local regions across images and independent of their respective class. The most informative patch embeddings for the task at hand are then determined as a function of the support set via online optimization at inference time, additionally providing visual interpretability of `$ extit{what matters most}$' in the image. We build on recent advances in unsupervised training of networks via masked image modelling to overcome the lack of fine-grained labels and learn the more general statistical structure of the data while avoiding negative image-level annotation influence, $ extit{aka}$ supervision collapse. Experimental results show the competitiveness of our approach, achieving new state-of-the-art results on four popular few-shot classification benchmarks for $5$-shot and $1$-shot scenarios.

연구 동기 및 목표

• 트랜스포머 내 토큰 수준 정보를 활용하여 기존 프로토타입을 넘는 few-shot 분류의 일반화를 향상시키려는 동기를 부여한다.
• 추론 시 온라인 최적화를 통해 적응하는 토큰 재가중 메커니즘을 제안하여 분류에 유익한 이미지 패치를 선택한다.
• 감독 신호의 붕괴를 완화하고 few-shot 성능을 향상시키는 데 있어 자기지도 사전학습과 지도사전학습의 역할을 평가한다.
• 모델 크기가 few-shot 성능에 미치는 영향을 조사하고, 강력한 결과를 위한 실용적 백본 선택 및 학습 역학을 식별한다.

제안 방법

• FewTURE를 소개한다. 이는 패치/토큰 기반 분류기로, 토큰들에 걸친 logsumexp로 집계된 작업 특이적 유사도 점수를 사용하는 패치/토큰 기반 분류기.
• 추론 중 토큰 중요도 가중치를 학습하기 위해 온라인 최적화를 구현하고, 정보가 있는 영역에 선택적으로 주의를 기울일 수 있도록 한다.
• 토큰 간 임베딩 유사도 로짓을 안정화하고 적응시키기 위해 임베딩 유사도 로짓에 온도 스케일링을 적용한다.
• 고정된 평가 프로토콜 하에서 자기지도 마스킹 이미지 모델링으로 백본을 사전 학습하고, 이를 감독 학습 사전학습과 비교한다.
• 설계 선택을 정당화하기 위해 내부 루프 토큰 재가중 단계, 집계 방법 및 유사도 지표에 대한 어블레이션(ablation)을 수행한다.
• 백본 변형(ViT-small, Swin-tiny) 및 사용 하드웨어를 포함한 학습 및 추론 세부정보를 보고한다.

실험 결과

연구 질문

• RQ1 고정된 프로토타입과 비교하여 토큰 재가중 기반 추론 절차가 few-shot 일반화를 향상시키는가?
• RQ2 자기지도 사전학습이 감독 학습에 비해 few-shot 설정에서 일반화에 어떤 영향을 미치는가?
• RQ3 모델 크기가 few-shot 성능에 미치는 영향은 무엇이며 FewTURE에서 어떤 백본이 최상의 결과를 내는가?
• RQ4 토큰 집계 및 유사도 지표 선택이 FewTURE의 분류 정확도에 어떤 영향을 미치는가?
• RQ5 온라인 최적화 단계 수가 정확도와 추론 시간에 미치는 영향은 무엇인가?

주요 결과

• 토큰 재가중을 활용한 FewTURE는 mini ImageNet, tiered ImageNet, CIFAR-FS, FC-100 데이터셋에서 경쟁력 있는 또는 최신(state-of-the-art) 수준의 성능을 달성한다.
• 자기지도 사전학습은 FewTURE에 상당한 이점을 제공하며, 감독 신호 붕괴를 피하고 더 일반적인 표현을 촉진하기 때문일 가능성이 있다.
• 내부 루프 재가중 단계 수를 늘리면 정확도는 향상되나 수익 체감이 커지고 추론 시간이 증가하며, 5–15단계가 좋은 절충을 제공한다.
• 토큰 로짓의 logsumexp 기반 집계와 온도 스케일링된 코사인 유사도는 평균 집계나 대안 지표보다 우수한 성능을 나타낸다.
• 모델 크기만으로는 few-shot 성능을 신뢰성 있게 예측할 수 없으며, 더 작 은 ViT-tiny/ViT-small 백본이 매우 효과적일 수 있고, 더 큰 백본은 일부 케이스에서 이득이 제한적이다.
• 어블레이션은 임베딩 유사도에서 토큰 재가중의 중요성과 온도 스케일링이 제공하는 안정성을 보여준다.