[논문 리뷰] Deep Ensembles for Low-Data Transfer Learning

Basil Mustafa, Carlos Riquelme Ruiz외 4명|arXiv (Cornell University)|2020. 10. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 9

한 줄 요약

이 논문은 저데이터 전이 학습 환경에서 사전 훈련된 모델들로부터 실용적인 딥 앙상블을 생성하기 위한 방법을 제안한다. 사전 훈련의 다양성을 모델 다양성의 원천으로 활용하며, k-NN 정확도를 사용해 상위 모델을 순위 매기고, 교차 엔트로피 최소화를 통해 탐욕적으로 앙상블를 구성한다. 이 방법은 19개의 VTAB 작업에서 최신 기준(SOTA) 성능을 달성하면서도 추론 비용을 크게 낮춘다—FLOPS의 1/6 미만으로도 더 큰 SOTA 모델을 뛰어넘는 성능을 보인다.

ABSTRACT

In the low-data regime, it is difficult to train good supervised models from scratch. Instead practitioners turn to pre-trained models, leveraging transfer learning. Ensembling is an empirically and theoretically appealing way to construct powerful predictive models, but the predominant approach of training multiple deep networks with different random initialisations collides with the need for transfer via pre-trained weights. In this work, we study different ways of creating ensembles from pre-trained models. We show that the nature of pre-training itself is a performant source of diversity, and propose a practical algorithm that efficiently identifies a subset of pre-trained models for any downstream dataset. The approach is simple: Use nearest-neighbour accuracy to rank pre-trained models, fine-tune the best ones with a small hyperparameter sweep, and greedily construct an ensemble to minimise validation cross-entropy. When evaluated together with strong baselines on 19 different downstream tasks (the Visual Task Adaptation Benchmark), this achieves state-of-the-art performance at a much lower inference budget, even when selecting from over 2,000 pre-trained models. We also assess our ensembles on ImageNet variants and show improved robustness to distribution shift.

연구 동기 및 목표

• 학습을 처음부터 시작하는 것이 효과적이지 않은 저데이터 전이 학습 환경에서 높은 성능을 달성하는 데 도전한다.
• 랜덤 초기화나 데이터 셔플링에 의존하는 표준 앙상블 방법의 한계를 극복한다. 이러한 방법들은 사전 훈련된 모델을 사용할 때는 실용적이지 않다.
• 다양한 사전 훈련 방법과 아키텍처에서 유래한 내재된 다양성을 앙상블 다양성의 주요 원천으로 삼는다.
• 큰 풀(예: 2,000개 모델)에서부터 사전 훈련된 모델들 중 소수의 높은 성능을 보이는 모델을 선택하기 위한 효율적이고 확장 가능한 파ip라인을 개발한다.
• 추론 비용을 최소화하면서도 전이 학습 환경에서 정확도와 분포 이탈에 대한 강건성을 극대화한다.

제안 방법

• 주어진 타깃 작업에 대해 사전 훈련된 모델의 적합성을 평가하기 위한 저비용 대체 지표로 검증 세트에서의 리브 오브 아웃 k-NN 정확도를 사용한다.
• k-NN 정확도 기반으로 상위-k 사전 훈련된 모델을 선별하여 앙상블 구성의 초안 후보 풀을 구성한다.
• 다양한 전문가를 생성하기 위해 소규모 초모수 스윕(예: 초기화 방법, 데이터 증강, 랜덤 시드의 변화 등)을 통해 선택된 모델들을 미세 조정한다.
• 검증 세트의 교차 엔트로피 손실을 가장 크게 감소시키는 모델을 반복적으로 추가함으로써 최종 앙상블를 탐욕적으로 구성한다.
• 정확도 기반 선택 대비 교차 엔트로피 최적화를 통해 소규모 검증 세트에서의 과적합을 줄인다.
• 다양한 타깃 작업과 분포 이탈이 발생한 ImageNet 변종에서 앙상블 성능을 평가하여 강건성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련의 다양성만으로도 저데이터 전이 학습 환경에서 효과적인 딥 앙상블를 위한 충분한 모델 다양성을 제공할 수 있는가?
• RQ2 큰 사전 훈련된 모델 풀에서 사전 훈련된 모델의 성능을 예측하는 데 있어 k-NN 정확도가 얼마나 효과적인 대체 지표가 되는가?
• RQ3 사전 훈련의 다양성에 기반해 선택된 모델들의 앙상블가, 타깃 작업의 초모수나 데이터 증강의 다양성에 기반한 앙상블보다 성능이 뛰어나게 되는가?
• RQ4 교차 엔트로피 최소화를 기반으로 한 탐욕적 앙상블 선택 전략이 정확도 기반 선택 대비 소규모 검증 세트에서의 과적합을 얼마나 줄일 수 있는가?
• RQ5 이러한 앙상블이 단일 모델이나 표준 앙상블 대비 분포 이탈에 대해 얼마나 강건한가?

주요 결과

• 제안된 방법은 시각 작업 적응 벤치마크(VTAB)에서 최신 기준(SOTA) 성능을 달성하며, SOTA보다 1.8%p의 절대 정확도 향상을 이룬다.
• 상游 사전 훈련의 다양성에 기반한 앙상블는 19개의 VTAB 작업 평균에서 하위 타깃 작업의 다양성에 기반한 앙상블보다 평균 1.2%p 높은 성능을 보인다.
• 이 방법은 분포 이탈에 대한 강건성을 향상시켜, 기준 앙상블 대비 분포 이탈이 발생한 ImageNet 변종에서 평균 2.2%p의 정확도 향상을 달성한다.
• 최종 앙상블는 VTAB에서 77.6%의 정확도를 기록했으며, 이는 훨씬 더 큰 SOTA 모델(76.2%)과 유사한 성능이지만 FLOPS의 1/6 미만으로도 달성되어 뛰어난 효율성을 보여준다.
• 교차 엔트로피 최소화 기반의 탐욕적 앙상블 선택 전략은 정확도 기반 선택보다 일반화 능력이 뛰어나며, 앙상블 크가 증가함에 따라 테스트 성능이 단조롭게 향상된다.
• 광범위한 아블레이션을 수행한 결과, 부트스트랩 및 교체 전략은 과적합을 줄이지 못했고, 가중치 기반 앙상블는 성능 향상을 가져오지 못했다. 이는 교차 엔트로피 선택 접근법의 강건성을 강조한다.