[논문 리뷰] A Closer Look at Few-shot Classification Again

Xu Luo, Hao Wu외 4명|arXiv (Cornell University)|2023. 01. 28.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

본 논문은 소샷 분류에서 학습과 적응이 서로 분리되고 상관관계가 없음을 증명하여 각 단계의 독립적 분석을 가능하게 하며, 신경 스케일링 법칙과 적응 역학을 밝혀낸다.

ABSTRACT

Few-shot classification consists of a training phase where a model is learned on a relatively large dataset and an adaptation phase where the learned model is adapted to previously-unseen tasks with limited labeled samples. In this paper, we empirically prove that the training algorithm and the adaptation algorithm can be completely disentangled, which allows algorithm analysis and design to be done individually for each phase. Our meta-analysis for each phase reveals several interesting insights that may help better understand key aspects of few-shot classification and connections with other fields such as visual representation learning and transfer learning. We hope the insights and research challenges revealed in this paper can inspire future work in related directions. Code and pre-trained models (in PyTorch) are available at https://github.com/Frankluox/CloserLookAgainFewShot.

연구 동기 및 목표

• 소샷 분류에서 학습 단계와 적응 단계가 완전히 서로 독립적인지 조사한다.
• 다른 하나를 고정한 채 각 단계를 체계적으로 분석하여 두 단계의 별도 기여를 이해한다.
• 데이터셋 규모, 모델 아키텍처, 작업 설정이 두 단계의 성능에 어떻게 영향을 미치는지 특징화한다.
• 알고리즘 설계에 대한 실용적 시사점과 표현 학습 및 전이 학습과의 연관성을 제시한다.

제안 방법

• Avg와 CI를 통해 알고리즘 쌍 간의 상호 작용을 평가하기 위한 형식적 프레임워크를 정의한다.
• 다양한 학습 전략(학습 측면의 메타-학습과 비메타-학습)을 포함하여 Mtrain과 Madapt를 구성하고, 적응에는 다양한 방법을 사용한다.
• 메타-데이터셋(Meta-Dataset)과 다중 백본을 사용하여 다른 단계에서 알고리즘 순위가 보존되는지 여부를 확인함으로써 상관관계 없는성을 실증적으로 평가한다.
• CE, PN, MoCo-v2로 ImageNet 규모의 데이터에서 학습 데이터의 크기(클래스당 샘플 수 및 클래스 수)를 확장하여 학습 단계의 효과를 분석한다.
• ImageNet 및 Quick Draw 데이터셋에서 다양한 ways와 shots 및 백본 적응 전략을 변화시키며 적응 단계의 효과를 분석한다.

실험 결과

연구 질문

• RQ1 소샷 분류에서 학습 알고리즘과 적응 알고리즘이 서로 독립적인가, 즉 한 단계를 바꿔도 다른 단계의 알고리즘 성능 순위에 영향을 주지 않는가?
• RQ2 학습 데이터 세트의 규모(클래스당 샘플 수 및 클래스 수 기준)가 서로 다른 학습 알고리즘의 소샷 학습 성능에 어떻게 영향을 미치는가?
• RQ3 ImageNet 수준의 사전 학습 모델이 감독 학습 vs 자기학습에 대해 소샷 성능과 어떤 상관관계를 보이는가?
• RQ4 다양한 ways와 shots에 걸쳐 미세조정, 부분 미세조정, 쿼리-지원 방법 등의 서로 다른 적응 전략의 영향은 무엇인가?
• RQ5 최소 샷 성능을 극대화하기 위해 학습 및 적응 구성요소를 선택하기 위한 실용적 지침은 무엇인가?

주요 결과

• 학습 및 적응 알고리즘은 정렬된 집합을 형성하며, 한 단계를 바꾸면 다른 단계에서 단조로운 개선이나 겹치는 개선이 나타난다.
• 감독 모델의 경우, 클래스 수를 늘리는 것이 클래스당 샘플 수를 늘리는 것보다 더 강한 이득을 제공하며, 이는 클래스에 대한 신경학적 스케일링 법칙을 시사한다.
• ImageNet 성능은 감독 모델의 소샷 성능을 잘 예측하지 못하지만, 자기지도 모델의 성능은 강하게 예측한다.
• 일반 파인튜닝은 소샷 적응에서 종종 부분 파인튜닝 방법보다 우수하며, 더 많은 ways/shots와 더 큰 작업 이동이 있을수록 이점이 커지지만 시간이 더 많이 소요된다.
• 백본 적응은 높은 차원, 많은 샷, 또는 교차 도메인 작업에서 유리해지며, 데이터 규모가 증가함에 따라 쿼리-지원 매핑 방법의 확장성은 떨어진다.