[논문 리뷰] Scalable Diverse Model Selection for Accessible Transfer Learning

Daniel Bolya, Rohit Mittapalli외 1명|arXiv (Cornell University)|2021. 11. 12.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 전이 학습을 위한 대규모이고 다양한 모델 라이브러리에서 가장 적합한 사전 훈련된 모델을 효율적으로 선택하기 위한 프레임워크인 가용성 있는 다양한 모델 선택(Scalable Diverse Model Selection)을 소개한다. 이는 특성 통계와 학습 가능한 어댑터를 활용하여 정밀도가 높고 추론 비용이 낮은 정밀도로 미세튜닝 성능을 예측하는 PARC라는 방법을 제안한다. 이는 기존 방법들보다 벤치마크 데이터셋에서 피어슨 상관계수 기준 최대 2.5% 향상된 성능을 기록한다.

ABSTRACT

With the preponderance of pretrained deep learning models available off-the-shelf from model banks today, finding the best weights to fine-tune to your use-case can be a daunting task. Several methods have recently been proposed to find good models for transfer learning, but they either don't scale well to large model banks or don't perform well on the diversity of off-the-shelf models. Ideally the question we want to answer is, "given some data and a source model, can you quickly predict the model's accuracy after fine-tuning?" In this paper, we formalize this setting as "Scalable Diverse Model Selection" and propose several benchmarks for evaluating on this task. We find that existing model selection and transferability estimation methods perform poorly here and analyze why this is the case. We then introduce simple techniques to improve the performance and speed of these algorithms. Finally, we iterate on existing methods to create PARC, which outperforms all other methods on diverse model selection. We have released the benchmarks and method code in hope to inspire future work in model selection for accessible transfer learning.

연구 동기 및 목표

• 전이 학습을 위해 대규모이고 다양한 모델 라이브러리에서 가장 적합한 사전 훈련된 모델을 선택하는 데 도전 과제를 해결한다.
• 가용성 있는 다양한 모델 선택 문제를 별도의 벤치마킹 및 평가 과제로 정식화한다.
• 다양한 아키텍처와 사전 훈련 데이터를 가진 대규모 모델 뱅크에 적용했을 때 기존의 이행 가능성 추정 및 모델 선택 방법의 한계를 규명한다.
• 다양한 모델 선택을 위한 성능과 확장성을 향상시키는 새로운 방법인 PARC를 개발하고 평가한다.
• 재현 가능한 평가 및 접근 가능한 전이 학습 분야의 향후 연구를 가능하게 하기 위해 표준화된 벤치마크와 코드를 공개한다.

제안 방법

• 8개의 소스 데이터셋, 6개의 타겟 데이터셋, 4개의 아키텍처를 포함하는 168개의 정답 미세튜닝 전이를 포함한 통제된 벤치마크를 정의하여 모델 선택 방법을 평가한다.
• 전체 미세튜닝 없이도 하류 성능을 예측하기 위해 소스 모델의 정규화된 특징을 사용하는 특징 기반 대체 과제를 도입한다.
• 소스 모델의 특징과 태스크별 투사 헤드를 결합하여 이행 가능성 예측을 수행하는 학습 가능한 어댑터 모듈(PARC)을 제안한다.
• 모델 간 특성 통계를 정규화하기 위한 단순 히어리스틱을 적용하여 다양한 아키텍처와 사전 훈련 데이터에 걸쳐 일반화 성능을 향상시킨다.
• 객체 검출에 대해 바운딩 박스 레이블을 픽셀 수준의 벡터로 집계하여 레이블 표현을 확장한다.
• 모든 벤치마크에서 예측 점수와 실제 미세튜닝된 mAP 간 피어슨 상관계수를 주 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처와 사전 훈련 데이터를 가진 대규모이고 다양한 모델 뱅크에 확장했을 때 기존의 이행 가능성 추정 및 모델 선택 방법은 어떤 성능을 보이는가?
• RQ2 현재 방법들이 다양한 모델 선택에서 실패하는 주요 원인은 무엇이며, 이들의 낮은 일반화 성능을 초래하는 아키텍처나 통계적 요인은 무엇인가?
• RQ3 태스크별 미세튜닝이나 타겟 데이터에 대한 추가 훈련 없이도 다양한 모델에 일반화되는 경량이고 확장 가능한 방법을 설계할 수 있는가?
• RQ4 특성 통계 정규화와 학습 가능한 어댑터를 예측 헤드에 통합함으로써 성능을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 방법이 이미지 분류를 넘어서 객체 검출과 같은 다른 태스크로도 일반화되는가?

주요 결과

• 기존 최신 기술의 이행 가능성 추정 및 모델 선택 방법들은 제안된 다양한 모델 선택 벤치마크에서 1-NN과 같은 단순 베이스라인을 뛰어넘지 못하며, 평균 피어슨 상관계수 51.35%에 그친다.
• PARC는 주 벤치마크에서 평균 피어슨 상관계수 52.04%를 기록하여 RSA 및 DDS를 포함한 모든 다른 방법들을 통계적으로 유의미한 수준으로 뛰어넘는다.
• 65개의 소스 모델과 423개의 전이를 포함하는 더 큰, 더 다양한 벤치마크에서도 PARC는 52.04%의 상관계수를 유지하여 모델 다양성에 대한 강건성을 입증한다.
• 객체 검출로 확장했을 때 PARC는 VOC2007에서 mAP와 92.20%의 상관계수를 기록하여 1-NN(89.67%)를 뛰어넘고, 타겟 태스크에서 추가 훈련이 필요한 RSA 및 DDS의 성능에 가까이 접근한다.
• PARC에 특성 정규화와 학습 가능한 어댑터를 통합함으로써 다양한 모델 간 일반화 성능이 크게 향상되며, 특히 아키텍처와 사전 훈련 데이터가 크게 다를 경우에 뚜렷한 개선 효과를 보인다.
• 가장 도전적인 설정—높은 다양성을 가진 커뮤니티 기반 모델—에서도 PARC는 52.04%의 상관계수를 기록하여 실제 환경에서의 확장성과 실용성을 입증한다.