[논문 리뷰] Ranking and Tuning Pre-trained Models: A New Paradigm for Exploiting Model Hubs

Kaichao You, Yong Liu외 4명|arXiv (Cornell University)|2021. 10. 20.

Topic Modeling참고 문헌 87인용 수 11

한 줄 요약

이 논문은 LogME라는 계산적으로 효율적인 이전 모델 이전성 측도를 도입하여 사전 훈련된 모델 허브를 활용하는 데 새로운 패러다임을 제안한다. 이 측도는 테스트 타겟 레이블에 대한 증거 추정을 기반으로 사전 훈련된 모델(PTM)을 순위 매긴다. 또한 B-Tuning은 상위 K개의 순위 모델을 동시에 튜닝하는 베이지안 방법이다. 이 방법은 단순 선택 및 포괄적인 미세조정보다 우수한 성능을 보이며, 최소한의 계산 비용으로 이질적인 PTM 앙상블에서 최신 기술 성능을 달성한다.

ABSTRACT

Model hubs with many pre-trained models (PTMs) have become a cornerstone of deep learning. Although built at a high cost, they remain \emph{under-exploited} -- practitioners usually pick one PTM from the provided model hub by popularity and then fine-tune the PTM to solve the target task. This naïve but common practice poses two obstacles to full exploitation of pre-trained model hubs: first, the PTM selection by popularity has no optimality guarantee, and second, only one PTM is used while the remaining PTMs are ignored. An alternative might be to consider all possible combinations of PTMs and extensively fine-tune each combination, but this would not only be prohibitive computationally but may also lead to statistical over-fitting. In this paper, we propose a new paradigm for exploiting model hubs that is intermediate between these extremes. The paradigm is characterized by two aspects: (1) We use an evidence maximization procedure to estimate the maximum value of label evidence given features extracted by pre-trained models. This procedure can rank all the PTMs in a model hub for various types of PTMs and tasks \emph{before fine-tuning}. (2) The best ranked PTM can either be fine-tuned and deployed if we have no preference for the model's architecture or the target PTM can be tuned by the top $K$ ranked PTMs via a Bayesian procedure that we propose. This procedure, which we refer to as \emph{B-Tuning}, not only improves upon specialized methods designed for tuning homogeneous PTMs, but also applies to the challenging problem of tuning heterogeneous PTMs where it yields a new level of benchmark performance.

연구 동기 및 목표

• 사용자들이 일반적으로 최고 인기 모델만 선택함으로써 사전 훈련된 모델 허브가 제대로 활용되지 않는 문제를 해결하기 위해.
• 사전 훈련된 모델 선택의 단순성에 기인한 한계를 극복하기 위해, 미세조정 없이도 전이 가능성을 예측할 수 있는 이론적으로 탄탄하고 효율적인 순위 매기기 방법을 제공하기 위해.
• 동일한 모델과 이질적인 모델 모두에 대해 효과적인 다중 PTM 튜닝을 가능하게 하여, 단일 모델의 미세조정을 넘어서는 최종 성능 향상을 이루기 위해.
• 헤드 재훈련에서의 높은 하이퍼파rameter 검색 비용과 과적합 문제를 줄이기 위해, 통합적이고 통계적으로 타당한 측도로 대체함으로써 의존도를 감소시키기 위해.

제안 방법

• LogME는 사전 훈련된 모델의 특징을 기반으로 레이블에 대한 최대 증거의 로그를 추정하여, 미세조정이 필요 없이 전이 가능성을 측정하는 점수를 제공한다.
• 이 방법은 특징과 사전 지식을 기반으로 레이블에 대한 예측 분포를 사용하여, 다양한 아키텍처와 작업 간의 사전 훈련된 모델 순위 매기기를 가능하게 한다.
• B-Tuning은 상위 K개의 순위 모델을 베이지안 모델 평균화를 통해 조합하여, 일반화 성능 향상을 위한 통합 튜닝을 가능하게 한다.
• 이 방법은 가우스 프로세스 유사 프레임워크를 사용하여 레이블 증거를 모델링하며, 반복 최적화를 피하는 닫힌 형태의 해를 제공한다.
• 후행 예측 분포를 활용하여 전이 가능성을 추정함으로써, 데이터가 적은 환경에서 정확도 기반 측도보다 더 강건한 성능을 보인다.
• 이 프레임워크는 상위 순위 모델 기반의 아키텍처에 관계없는 배포(모델 허브에서의 순위 기반 선택)와 상위 K개 모델의 B-Tuning을 통한 아키텍처 제약 튜닝을 모두 지원한다.

실험 결과

연구 질문

• RQ1 미세조정 없이도 계산적으로 효율적인 측도가 사전 훈련된 모델의 전이 가능성을 순위 매길 수 있는가?
• RQ2 LogME는 브루트 포스 미세조정 및 LEEP, NCE와 같은 기존 측도와 비교해 순위 정확도에서 어떻게 성능을 내는가?
• RQ3 B-Tuning은 다양한 이질적인 사전 훈련된 모델을 효과적으로 조합하여 개별 모델의 미세조정 성능을 초월할 수 있는가?
• RQ4 기존의 표준 헤드 재훈련과 비교해 과적합과 하이퍼파ram터 민감도를 줄일 수 있는가?
• RQ5 이 방법은 시각 및 자연어 처리 모델을 포함한 다양한 작업과 사전 훈련된 모델 유형에 일반화 가능한가?

주요 결과

• ImageNet-1K 데이터셋에서 LogME는 최종 정확도와 0.86의 상관관계를 보였으며, LEEP 및 NCE를 능가했고, 단일 헤드 재훈련 시간의 약 1/3만 소요되었다.
• Caltech-1000 데이터셋에서 LogME는 미세조정 정확도와 0.81의 상관관계를 보였으며, 하이퍼파ram터 검색을 포함한 포괄적 헤드 재훈련은 시행 수가 증가할수록 상관관계가 감소하는 경향을 보이며 과적합이 발생하는 것으로 나타났다.
• 저자료 감성 분류(SST-2)에서 LogME는 예측 가중치를 가상의 앵커 단어로 모델링하여 79.24%의 정확도를 달성했으며, 헤드 재훈련(51.64%)과 수동 프롬프트 선택(61.4%)을 모두 초월했다.
• B-Tuning은 이질적인 PTM 조합에서 Zoo-tuning과 지식 정착(Knowledge Distillation)을 능가하며, 전이 학습 성능 분야에서 새로운 기준을 설정했다.
• 이 방법은 ResNet, ViT, BERT, RoBERTa 등 다양한 시각 및 자연어 처리 작업에서 여러 데이터셋을 통해 일관된 슈퍼리어리티를 보였다.
• 모든 성능을 유지하거나 향상시키면서도 포괄적 검색을 피함으로써 계산 비용을 줄였으며, 실세계 적용에 실용적인 방법이 되었다.