[논문 리뷰] Comparing Transfer and Meta Learning Approaches on a Unified Few-Shot Classification Benchmark

Vincent Dumoulin, Neil Houlsby외 5명|arXiv (Cornell University)|2021. 04. 06.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 전이학습과 메타학습 접근법 간의 직접적 비교를 가능하게 하기 위해 VTAB와 Meta-Dataset를 통합한 통합된 소수의 분류 벤치마크인 VTAB+MD를 소개한다. 이는 대규모 전이학습 모델인 BiT-L이 양 벤치마크에서 최신 메타학습 모델을 능가함을 보여주며, 특히 분포 이탈 작업에서 두드러진 성능을 보여주며 스케일과 데이터 다양성의 중요성을 강조하고, 메타학습의 일반화 능력과 구현 제약 사항의 한계를 드러낸다.

ABSTRACT

Meta and transfer learning are two successful families of approaches to few-shot learning. Despite highly related goals, state-of-the-art advances in each family are measured largely in isolation of each other. As a result of diverging evaluation norms, a direct or thorough comparison of different approaches is challenging. To bridge this gap, we perform a cross-family study of the best transfer and meta learners on both a large-scale meta-learning benchmark (Meta-Dataset, MD), and a transfer learning benchmark (Visual Task Adaptation Benchmark, VTAB). We find that, on average, large-scale transfer methods (Big Transfer, BiT) outperform competing approaches on MD, even when trained only on ImageNet. In contrast, meta-learning approaches struggle to compete on VTAB when trained and validated on MD. However, BiT is not without limitations, and pushing for scale does not improve performance on highly out-of-distribution MD tasks. In performing this study, we reveal a number of discrepancies in evaluation norms and study some of these in light of the performance gap. We hope that this work facilitates sharing of insights from each community, and accelerates progress on few-shot learning.

연구 동기 및 목표

• 전이학습과 메타학습 커뮤니티 간 평가 격차를 해소하기 위해 공통의 벤치마크를 만들기 위해.
• 동일한 소수의 분류 프로토콜에서 두 분야의 최신 기법 간 사과 대 사과 비교를 가능하게 하기 위해.
• 한 분야의 발전이 다른 분야로 일반화되는지, 특히 분포 이탈 조건 하에서 그러한가를 조사하기 위해.
• 소수의 일반화 성능에 영향을 미치는 모델 스케일, 데이터, 정규화, 해상도의 영향을 분석하기 위해.
• 메타학습의 일반화 능력과 구현 확장성의 한계를 규명하기 위해.

제안 방법

• 저자들은 Visual Task Adaptation Benchmark (VTAB)와 Meta-Dataset (MD)를 통합된 평가 프로토콜인 VTAB+MD로 조합한다.
• 동일한 소수의 분류 프로토콜을 사용하여, 최신 전이학습 모델(예: BiT-L)과 메타학습 모델(예: CTX)을 양 벤치마크에서 평가한다.
• 네트워크 용량, 입력 해상도, 정규화 레이어(GNWS 대 BN), 업스트림 학습 데이터(ImageNet, ImageNet-21k, JFT)를 변화시켜 BiT-L에 대한 추론 실험을 수행한다.
• 데이터 중복 제거 및 클래스 제거 추론 실험을 통해 도메인 커버리지와 데이터 양이 성능에 미치는 영향을 평가한다.
• Omniglot, QuickDraw, Traffic Sign 등 MD의 다양한 데이터 소스 간 성능을 비교하여 분포 이탈 영향을 연구한다.
• 그룹 정규화와 가중치 표준화(GNWS)와 같은 정규화 전략의 소수의 일반화에 대한 강건성 분석을 수행한다.

실험 결과

연구 질문

• RQ1 대규모 전이학습이 통합된 소수의 분류 벤치마크에서 메타학습을 능가하는가?
• RQ2 모델 스케일, 입력 해상도, 정규화 전략이 다양한 소수의 작업에서 성능에 어떻게 영향을 미치는가?
• RQ3 데이터 다양성과 업스트림 도메인 커버리지가 데이터 양만으로는 성능을 얼마나 향상시키는가?
• RQ4 왜 메타학습 모델은 분포 이탈 작업으로 일반화하는 데 어려움을 겪는가, 특히 MD에서 학습하고 VTAB에서 평가할 때 그러한가?
• RQ5 메타학습의 구현 제약이 대규모 백본과 고해상도 입력의 효과적 사용을 방해하는가?

주요 결과

• BiT-L은 통합된 VTAB+MD 벤치마크에서 최신 기술 성능을 기록하며, MD와 VTAB 양쪽 모두에서 경쟁적인 메타학습 모델을 능가한다.
• MD-v2에서 ImageNet으로 학습한 BiT-L은 CTX보다 평균 정확도가 1.69% 높으며, 주로 이미 성능이 양호한 데이터 소스에서 성능 향상을 보인다.
• Omniglot과 QuickDraw와 같은 극도로 분포 이탈된 작업에서는 모델 크기와 해상도를 증가시키는 것이 성능 향상에 기여하지 않으며, 오히려 성능 저하를 초래할 수 있다.
• BiT-L의 GNWS 정규화를 배치 정규화(BN)로 교체하면 모든 MD-v2 소스에서 성능이 일관되게 저하되며, 이는 GNWS가 소수의 일반화에 핵심적임을 시사한다.
• JFT에서 학습하는 것이 성능 향상에 항상 유리하지 않으며, Traffic Sign에서는 ImageNet이 ImageNet-21k와 JFT를 모두 능가한다. 이는 데이터 분포가 스케일만으로는 더 중요하다는 것을 보여준다.
• JFT 데이터 중 비행기와 새와 관련된 0.002%만 제거되어도 BiT-L의 해당 MD-v2 테스트 소스 성능이 급격히 저하되며, 이는 도메인 커버리지가 데이터 양보다 더 중요함을 증명한다.