[논문 리뷰] Scalable Transfer Learning with Expert Models

Joan Puigcerver, Carlos Riquelme외 6명|arXiv (Cornell University)|2020. 09. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 71인용 수 26

한 줄 요약

이 논문은 JFT 및 ImageNet21k와 같은 대규모 데이터셋의 의미적으로 구조화된 부분에 사전 훈련된 전문 모델을 사용하여 확장 가능한 전이 학습 프레임워크를 제안한다. 하류 작업 특징에 대해 kNN 기반 성능 프록시를 통해 가장 관련성이 높은 전문 모델을 선택함으로써, 경쟁 기법보다 하류 작업당 추론 속도를 500–1000배 빠르게 하고, VTAB-1k에서 19개의 다양한 시각 작업 전반에 걸쳐 평균 정확도를 3.6% 향상시켰으며, 잔차 어댑터를 통해 모든 전문 모델을 단일 모델로 압축함으로써 실용적인 배포를 가능하게 한다.

ABSTRACT

Transfer of pre-trained representations can improve sample efficiency and reduce computational requirements for new tasks. However, representations used for transfer are usually generic, and are not tailored to a particular distribution of downstream tasks. We explore the use of expert representations for transfer with a simple, yet effective, strategy. We train a diverse set of experts by exploiting existing label structures, and use cheap-to-compute performance proxies to select the relevant expert for each target task. This strategy scales the process of transferring to new tasks, since it does not revisit the pre-training data during transfer. Accordingly, it requires little extra compute per target task, and results in a speed-up of 2-3 orders of magnitude compared to competing approaches. Further, we provide an adapter-based architecture able to compress many experts into a single model. We evaluate our approach on two different data sources and demonstrate that it outperforms baselines on over 20 diverse vision tasks in both cases.

연구 동기 및 목표

• 일반적인 사전 훈련된 모델의 전이 학습에서의 비효율성과 전문화 부족 문제를 해결하기 위해.
• 원천 데이터를 다시 접근하지 않고도 새로운 시각 작업에 대해 신속하고 확장 가능한 전이 학습을 가능하게 하기 위해.
• 의미적으로 구조화된 전문 모델을 활용하여 다양한 하류 작업에서 성능을 향상시키기 위해.
• 잔차 어댑터를 사용하여 수백 개의 전문 모델을 단일 모델로 압축하여 실용적인 배포를 가능하게 하기 위해.

제안 방법

• 전체 상游 데이터셋(예: JFT 또는 ImageNet21k)에서 단일 베이스라인 모델을 사전 훈련한다.
• 베이스라인 모델을 초기화로 사용하여 상游 데이터의 의미적 부분집합에서 다수의 이질적인 전문 모델을 훈련한다.
• 각 하류 작업에서 모든 전문 모델의 특징을 계산하고, 목표 작업에서의 성능을 예측하기 위해 kNN을 사용하여 최고 성능을 낸 전문 모델을 선택한다.
• 원천 데이터 재처리 없이 하류 데이터에서 선택된 전문 모델의 헤드만 미세조정한다.
• 모든 전문 모델을 잔차 어댑터를 사용하여 단일 모델로 압축하여 전체 전문 모델 로딩 없이도 추론이 가능하게 한다.
• 하나의 작업당 전문 모델 라우팅을 kNN 기반 프록시 선택을 통해 수행하여 각 목표 작업당 계산 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 의미적으로 유의미한 부분집합에 대해 사전 훈련된 전문 모델이 다양한 하류 작업에서 전이 학습 성능을 향상시킬 수 있는가?
• RQ2 표현에 기반한 저비용 kNN 프록시를 통해 전문 모델을 선택하는 것이 일반적인 미세조정보다 더 나은 하류 성능을 이끌어내는가?
• RQ3 원천 데이터 재처리를 피하는 것으로 전문 모델 기반 전이의 계산 비용을 각 작업당 거의 0에 가깝게 줄일 수 있는가?
• RQ4 잔차 어댑터를 사용하여 단일 모델로 수백 개의 전문 모델을 압축할 경우 성능 손실 없이 어느 정도까지 가능할 수 있는가?

주요 결과

• 제안된 방법은 ResNet50를 사용하여 VTAB-1k 벤치마크에서 최신 기술보다 평균 정확도를 3.6% 향상시켰다.
• Domain Adaptive Transfer와 같은 경쟁 기법 대비 하류 작업당 추론 비용을 500–1000배 빠르게 했다.
• 라벨 계층의 부분집합에 대해 훈련된 의미 전문 모델은 자연 시각 작업에서 무작위 전문 모델보다 2.7–4.7% 높은 성능을 보였으며, 구조화된 사전 훈련의 가치를 입증했다.
• 어댑터 기반 전문 모델은 전체 전문 모델에 가까운 성능을 달성하여 모든 전문 모델을 최소한의 정확도 손실로 단일 모델로 압축할 수 있었다.
• 모든 VTAB 작업 그룹(자연, 전문화, 구조화)에서 기준 모델보다 성능이 뛰어났다.
• 실험 결과 무작위 전문 모델이 기준 모델과 유사한 성능을 보였으며, 성능 향상 요인이 모델 다양성보다 의미적 구조에 기인함을 시사했다.