[논문 리뷰] A linearized framework and a new benchmark for model selection for fine-tuning

Aditya Deshpande, Alessandro Achille외 7명|arXiv (Cornell University)|2021. 01. 29.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 소수의 샘플에서 파인튜닝를 위한 모델 선택을 위한 선형화된 프레임워크를 제안하며, 간단하면서도 효과적인 베이스라인으로 레이블-기울기 상관관계(LGC)와 레이블-특징 상관관계(LFC)를 도입한다. 이들 방법이 실제 파인튜닝 정확도와 더 높은 순서 상관관계를 보이며, 모델 저널에서 최적의 모델을 선택하기 위해 더 적은 시행 수를 요구함으로써, 이전의 방법들과 브루트포스 파인튜닝보다도 저자료 환경에서 뛰어난 성능을 발휘함을 입증한다.

ABSTRACT

Fine-tuning from a collection of models pre-trained on different domains (a "model zoo") is emerging as a technique to improve test accuracy in the low-data regime. However, model selection, i.e. how to pre-select the right model to fine-tune from a model zoo without performing any training, remains an open topic. We use a linearized framework to approximate fine-tuning, and introduce two new baselines for model selection -- Label-Gradient and Label-Feature Correlation. Since all model selection algorithms in the literature have been tested on different use-cases and never compared directly, we introduce a new comprehensive benchmark for model selection comprising of: i) A model zoo of single and multi-domain models, and ii) Many target tasks. Our benchmark highlights accuracy gain with model zoo compared to fine-tuning Imagenet models. We show our model selection baseline can select optimal models to fine-tune in few selections and has the highest ranking correlation to fine-tuning accuracy compared to existing algorithms.

연구 동기 및 목표

• 소수의 샘플에서 파인튜닝를 위한 모델 선택 문제를 해결함에 있어, 훈련 없이 모델 저널에서 최고의 사전 훈련된 모델을 선택하는 것이 핵심임을 다루기 위해.
• 사전 훈련된 가중치 주변의 선형화를 통해 파인튜닝 행동을 근사하는 이론적이고 경험적인 프레임워크를 개발하기 위해.
• 공정한 모델 선택 방법 비교를 위해 다양한 모델 저널과 다수의 타겟 작업을 포함하는 종합적인 벤치마크를 구축하기 위해.
• 통합된 환경에서 최신의 모델 선택 방법들을 새로운 베이스라인(LGC와 LFC)과 평가하고 비교하기 위해.
• 단순한 선형화된 지표가 복잡한 방법들보다도 최적의 파인튜닝 모델을 선택하는 데서 동등하거나 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 논문은 신경 탄성 커널(NTK)을 통한 파인튜닝 과정의 선형화 근사를 사용하여 사전 훈련된 가중치 주변의 모델 행동을 분석한다.
• 두 가지 모델 선택 기준을 유도한다: 레이블-기울기 상관관계(LGC), 레이블 벡터와 기울기 방향 간의 정렬도를 측정하며, 레이블-특징 상관관계(LFC), 레이블 벡터와 특징 표현 간의 상관관계를 측정한다.
• 8개의 다양한 이미지 데이터셋으로 구성된 대규모 벤치마크를 구축하여 단일 및 다중 도메인 전문가로 구성된 모델 저널을 형성하고, 평가를 위한 다수의 타겟 작업을 설정한다.
• 모델 선택 성능은 최적의 모델을 선택하기 위해 필요한 시행 수와 실제 파인튜닝 정확도와 모델 선택 점수 간의 스피어만 상관관계를 측정하여 평가한다.
• 전체 파인튜닝 없이도 모델 순위를 매김으로써 효율적인 모델 선택을 가능하게 하며, 계산 비용을 감소시킨다.
• 실험에서는 LFC, LGC 및 기존 방법들(LeeP, RSA, 도메인 유사도, 특징 메트릭스)을 다양한 설정(전체 및 소수 샘플 데이터 환경)에서 비교한다.

실험 결과

연구 질문

• RQ1 파인튜닝의 선형화 근사를 통해 전체 파인튜닝 없이도 효과적으로 모델 선택을 이끌 수 있는가?
• RQ2 LGC와 LFC는 기존의 모델 선택 방법들과 비교해 정확도와 선택 효율성 측면에서 어떻게 다른가?
• RQ3 도메인 특화 전문가로 구성된 모델 저널을 사용할 경우, 특히 저자료 환경에서 ImageNet 사전 훈련 모델보다 파인튜닝 정확도가 향상되는가?
• RQ4 모델 선택 점수는 실제 파인튜닝 성능과 얼마나 높은 상관관계를 가지는가?
• RQ5 모델 선택은 파인튜닝에 최적의 모델을 식별하기 위해 필요한 시행 수를 줄일 수 있는가?

주요 결과

• 제안된 모델 저널에서의 파인튜닝은 ImageNet 사전 훈련 모델을 사용한 표준 파인튜닝보다 성능이 뛰어나며, 특히 저자료 환경(5, 10, 20샷)에서 더 낮은 테스트 오차를 기록한다.
• LFC와 LGC는 모든 타겟 작업에서 실제 파인튜닝 정확도와 가장 높은 스피어만 순서 상관관계(0.85–0.90)를 기록하며, RSA, LEEP, 도메인 유사도를 모두 능가한다.
• 단일 도메인 모델 저널(30명의 전문가)에서 최적의 모델을 선택하기 위해 LFC와 LGC는 7번 이내의 시행 수가 필요하고, 다중 도메인 모델 저널(8명의 전문가)에서는 3번 이내의 시행 수가 필요하다.
• LFC와 LEEP를 사용한 모델 선택은 브루트포스 파인튜닝의 필요성을 줄이며, 계산 자원을 크게 절약하면서도 정확도를 유지하거나 향상시킨다.
• 모델 저널 접근 방식은 ImageNet 사전 훈련된 ResNet-101에 대한 하이퍼파rameter 최적화(HPO)보다도 더 높은 정확도 향상을 이룬다. 특히 저자료 환경에서 두드러진다.
• LFC 점수는 파인튜닝 정확도의 강력한 대체 지표로 기능하며, 훈련 없이도 신뢰할 수 있는 모델 순위 매기기와 선택을 가능하게 한다.