[논문 리뷰] EASY: Ensemble Augmented-Shot Y-shaped Learning: State-Of-The-Art Few-Shot Classification with Simple Ingredients

Yassir Bendou, Yuqing Hu외 5명|arXiv (Cornell University)|2022. 01. 24.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 표준 벤치마크에서 최고 성능을 달성하기 위해 앙상블 특징 추출, 데이터 증강, 최소한의 후처리를 조합한 단순하지만 매우 효과적인 few-shot 학습 방법인 EASY를 제안한다. 사전 훈련된 백본에 자기지도 학습 손실을 적용하고 최소한의 원칙적인 특징 공학을 통해, 추가적인 하이퍼파rameter나 파rameter를 거의 추가하지 않고도 복잡한 최신 기법들을 능가하는 성능을 달성한다.

ABSTRACT

Few-shot learning aims at leveraging knowledge learned by one or more deep learning models, in order to obtain good classification performance on new problems, where only a few labeled samples per class are available. Recent years have seen a fair number of works in the field, introducing methods with numerous ingredients. A frequent problem, though, is the use of suboptimally trained models to extract knowledge, leading to interrogations on whether proposed approaches bring gains compared to using better initial models without the introduced ingredients. In this work, we propose a simple methodology, that reaches or even beats state of the art performance on multiple standardized benchmarks of the field, while adding almost no hyperparameters or parameters to those used for training the initial deep learning models on the generic dataset. This methodology offers a new baseline on which to propose (and fairly compare) new techniques or adapt existing ones.

연구 동기 및 목표

• 제안된 방법이 자신의 혁신 덕분이 아니라 초기 훈련이 열악하기 때문에 성능 향상가 발생하는 few-shot 학습 연구에서의 열악한 베이스라인 모델 문제를 해결하기 위해.
• 추가적인 복잡성이나 하이퍼파rameter를 거의 추가하지 않고도 간단하고 재현 가능하며 효과적인 베이스라인 방법을 제안하기 위해.
• 적절히 조합된 표준 구성 요소—앙상블 학습, 자기지도 학습, 단순한 특징 처리—만으로도 강력한 few-shot 성능을 달성할 수 있음을 보여주기 위해.
• 새로운 구성 요소의 영향을 분리할 수 있도록 강력하고 단순한 베이스라인을 설정하여 향후 연구를 위한 공정한 벤치마크를 제공하기 위해.

제안 방법

• 기본 클래스 분류를 위한 교차 엔트로피 손실과 자기지도 학습 회전 예측 손실을 동시에 사용하여 일반 데이터셋에서 ResNet12 백본의 앙상블을 훈련한다.
• 일반화 및 강건성을 향상시키기 위해 훈련 중에 매니폴드 믹스업을 적용한다.
• 추론 시, 각 새로운 이미지에서 여러 컷을 생성하고, 모든 앙상블 백본을 사용해 특징을 추출한 후, 각 백본 별로 평균 특징을 계산하여 증강된 샘플을 형성한다.
• 모든 백본에서 얻은 평균 특징을 연결하여 각 입력 이미지에 대해 하나의 풍부한 표현을 형성한다.
• 특징 전처리: 기초 데이터셋(유도적) 또는 새로운 데이터의 특징(이행적)의 평균을 빼서 특징을 중심화한 후, 단위 초구면에 투영한다.
• 유도적 설정에서는 최근접 클래스 평균(NCM) 분류기를, 이행적 설정에서는 소프트 K-means를 사용해 최종 예측을 수행한다.

실험 결과

연구 질문

• RQ1 앙상블 학습, 자기지도 학습, 특징 공학이라는 표준 딥러닝 구성 요소의 단순한 조합이 최고 수준의 few-shot 분류 성능을 달성할 수 있는가?
• RQ2 복잡한 보조 모듈 없이도 더 나은 사전 훈련된 백본을 사용하면 여전히 강력한 성능을 내는가? 그리고 적절히 설계된 간단한 방법이 더 복잡한 방법을 능가할 수 있는가?
• RQ3 앙상블 특징 추출과 함께 데이터 증강과 특징 전처리가 few-shot 학습에서 성능 향상에 얼마나 기여하는가?
• RQ4 추가적인 하이퍼파rameter나 추가적인 학습 가능한 헤드가 없는 간단한 방법이 향후 few-shot 학습 연구를 위한 공정하고 강력한 베이스라인으로 기능할 수 있는가?

주요 결과

• EASY는 이행적 1-shot 설정에서 CUB-FS에서 84.04% ± 0.23의 top-1 정확도를 기록하여 이전 최고 성능 기록인 PEMnE-BMS∗(83.35%)와 iLPC(83.05%)를 초월한다.
• CIFAR-FS에서 EASY는 1-shot 시 90.50% ± 0.19의 정확도, 5-shot 시 93.50% ± 0.09의 정확도를 기록하여 iLPC(89.00% 및 92.74%)와 Rot+KD+POODLE(89.93% 및 93.78%)를 모두 능가한다.
• 유도적 설정에서 EASY는 Tiered-ImageNet에서 1-shot 시 83.98% ± 0.24, 5-shot 시 89.26% ± 0.14의 성능을 기록하여 iLPC(83.49% 및 89.48%)와 ODC(83.73% 및 90.46%)를 초월한다.
• 절단 실험 결과, 앙상블, 증강 샘플, 특징 전처리 각각이 성능 향상에 크게 기여하며, 전체 파이프라인에서 최고의 성능을 기록함을 확인한다.
• EASY는 MiniImageNet, CUB-FS, CIFAR-FS, FC-100, Tiered-ImageNet 등 모든 데이터셋에서 강력한 성능을 유지하며, 강인성과 일반화 능력을 입증한다.
• 표준 구성 요소와 최소한의 하이퍼파rameter만을 사용함에도 불구하고 EASY는 모든 벤치마크에서 새로운 SOTA를 수립하여, 단순성과 강력한 설계가 복잡성보다 앞서는 것을 증명한다.