[논문 리뷰] LibFewShot: A Comprehensive Library for Few-shot Learning

Wenbin Li, Ziyi외 10명|arXiv (Cornell University)|2021. 09. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 13

한 줄 요약

LibFewShot는 일관된 훈련 프rotocols, 백본, 데이터 증강을 갖춘 통합된 파이토치 라이브러리로, 18종의 최신 소수 샘플 학습 방법을 재현하여 공정한 비교를 가능하게 한다. 이는 에피소드/메타학습이 특히 사전학습과 결합될 경우 여전히 필수적임을 보여주며, 데이터 증강, 자기지도학습, 적절한 정규화와 같은 기법들이 다양한 모델에서 성능 향상에 크게 기여함을 드러낸다.

ABSTRACT

Few-shot learning, especially few-shot image classification, has received increasing attention and witnessed significant advances in recent years. Some recent studies implicitly show that many generic techniques or ``tricks'', such as data augmentation, pre-training, knowledge distillation, and self-supervision, may greatly boost the performance of a few-shot learning method. Moreover, different works may employ different software platforms, backbone architectures and input image sizes, making fair comparisons difficult and practitioners struggle with reproducibility. To address these situations, we propose a comprehensive library for few-shot learning (LibFewShot) by re-implementing eighteen state-of-the-art few-shot learning methods in a unified framework with the same single codebase in PyTorch. Furthermore, based on LibFewShot, we provide comprehensive evaluations on multiple benchmarks with various backbone architectures to evaluate common pitfalls and effects of different training tricks. In addition, with respect to the recent doubts on the necessity of meta- or episodic-training mechanism, our evaluation results confirm that such a mechanism is still necessary especially when combined with pre-training. We hope our work can not only lower the barriers for beginners to enter the area of few-shot learning but also elucidate the effects of nontrivial tricks to facilitate intrinsic research on few-shot learning. The source code is available from https://github.com/RL-VIG/LibFewShot.

연구 동기 및 목표

• 다양한 방법 간 일관성 없는 구현, 백본, 훈련 기법으로 인한 소수 샘플 학습 분야의 공정한 비교 부족 문제를 해결하기 위해.
• 동일한 코드베이스와 하이퍼파라미터를 사용해 18종의 최신 소수 샘플 학습 방법을 재현하는 통합 프레임워크를 제공하기 위해.
• 데이터 증강, 지식 정복, 자기지도학습과 같은 일반적인 딥러닝 기법이 소수 샘플 학습 성능에 미치는 영향을 경험적으로 평가하기 위해.
• 강력한 사전학습이 존재하는 시대에 메타학습 또는 에피소드 훈련이 여전히 필요한지 조사하기 위해.
• 특히 큰 도메인 이동이 발생할 경우, 소수 샘플 모델의 도메인 간 전이 가능성 평가하기 위해.

제안 방법

• 일관된 하이퍼파라미터와 훈련 프로토콜을 갖춘 단일 파이토치 기반 통합 프레임워크에서 18종의 최신 소수 샘플 학습 방법을 재현하기 위해.
• 모든 방법 간 공통된 백본 아키텍처(예: ResNet12, Swin-T)와 입력 이미지 크기(224×224)를 사용해 공정한 비교 보장하기 위해.
• 표준화된 데이터 증강(RandAugment, mixup, cutmix), 정규화, 최적화(AdamW)를 적용해 아키텍처 및 훈련 선택의 영향을 분리하기 위해.
• 다양한 백본을 사용해 miniImageNet 및 tieredImageNet에서 1-shot 및 5-shot 설정을 모두 평가하기 위해 광범위한 평가 수행하기 위해.
• 원천 도메인(예: miniImageNet)에서 학습하고 목표 도메인(예: Stanford Dogs, CUB Birds)에서 테스트함으로써 도메인 간 일반화 성능 평가하기 위해, 다양한 도메인 이동을 고려하여 평가하기 위해.
• 라벨 스무딩, DropBlock, 자기지도학습과 같은 핵심 훈련 기법의 영향을 체계적으로 분석하기 위해.

실험 결과

연구 질문

• RQ1 강력한 사전학습이 사용될 경우, 소수 샘플 학습에서 에피소드/메타학습 메커니즘이 여전히 필수적인가?
• RQ2 데이터 증강, 지식 정복, 자기지도학습과 같은 일반적인 딥러닝 기법들이 다양한 모델에서 소수 샘플 학습 성능에 어떻게 영향을 미치는가?
• RQ3 비전 트랜스포머(Swin-T)와 같은 모델 아키텍처가 CNN(ResNet12)에 비해 소수 샘플 학습에 얼마나 잘 일반화되는가?
• RQ4 miniImageNet에서 Stanford Cars로의 큰 도메인 이동이 발생할 경우, 소수 샘플 모델의 도메인 간 일반화 성능은 얼마나 유지되는가?
• RQ5 테스트 시점 미세조정은 소수 샘플 분류에서 상당한 성능 향상을 가져오는가, 아니면 강력한 특징 표현과 정규화가 더 중요한가?

주요 결과

• 특히 사전학습과 결합될 경우, 에피소드/메타학습 메커니즘이 여전히 소수 샘플 학습에 필수적임을 확인함. 이는 새로운 작업에 대한 효과적인 적응을 가능하게 함.
• 사전학습과 에피소드 훈련을 조합한 경우, 후보 기반 모델조차도 비에피소드 기반 모델보다 유의미하게 높은 성능 기록함.
• RandAugment, mixup, cutmix와 같은 데이터 증강 기법은 모든 모델과 벤치마크에서 일관되게 성능 향상 기여함.
• Swin-T는 데이터 소비가 많지만, ProtoNet 또는 DN4와 조합될 경우 tieredImageNet에서 경쟁적인 성능 기록함. 이는 트랜스포머가 FSL에서 강력한 잠재력을 지님.
• 테스트 시점 미세조정은 소수 샘플 설정에서 제한적인 성능 향상을 제공함. 반면, 고품질의 특징 임bedding과 ℓ₂ 정규화가 성능 향상에 더 중요함.
• 큰 도메인 이동(예: miniImageNet → Stanford Cars) 상황에서 도메인 간 일반화 성능이 크게 떨어짐. 이는 현재 FSL 방법이 소규모 이동을 초월한 도메인 이동에 대해 어려움을 겪고 있음을 시사함.