[논문 리뷰] Improved Fine-Tuning by Better Leveraging Pre-Training Data

Ziquan Liu, Yi Xu외 6명|arXiv (Cornell University)|2021. 11. 24.

Machine Learning and Data Classification인용 수 24

한 줄 요약

이 논문은 사전 학습 데이터를 파인튜닝 동안 재사용하는 것이 대상 태스크 일반화에 어떻게 기여하는지 분석하고, 대상 태스크에 가장 잘 맞는 사전 학습 데이터를 선택하기 위한 새로운 비대칭 최적 전송(UOT) 기반 데이터 선택 방법을 제안한다.

ABSTRACT

As a dominant paradigm, fine-tuning a pre-trained model on the target data is widely used in many deep learning applications, especially for small data sets. However, recent studies have empirically shown that training from scratch has the final performance that is no worse than this pre-training strategy once the number of training samples is increased in some vision tasks. In this work, we revisit this phenomenon from the perspective of generalization analysis by using excess risk bound which is popular in learning theory. The result reveals that the excess risk bound may have a weak dependency on the pre-trained model. The observation inspires us to leverage pre-training data for fine-tuning, since this data is also available for fine-tuning. The generalization result of using pre-training data shows that the excess risk bound on a target task can be improved when the appropriate pre-training data is included in fine-tuning. With the theoretical motivation, we propose a novel selection strategy to select a subset from pre-training data to help improve the generalization on the target task. Extensive experimental results for image classification tasks on 8 benchmark data sets verify the effectiveness of the proposed data selection based fine-tuning pipeline.

연구 동기 및 목표

• 제한된 데이터를 가진 대상 태스크에 대해 사전 학습이 파인튜닝에 도움이 되는 시점과 이유를 이해한다.
• 일부 조건에서 사전 학습 모델에 대한 의존성이 약하다는 일반화 이론적 관점을 도출한다.
• 파인튜닝 중 사전 학습 데이터를 활용하기 위한 데이터 재사용 전략을 제안한다.
• 대상 태스크와 가장 유사한 사전 학습 데이터를 선택하기 위한 비대칭 OT(Optimal Transport) 기반 데이터 선택 방법을 개발한다.
• 감독 학습 및 자기지도 학습 사전 학습을 사용하여 여덟 개의 이미지 분류 벤치마크에서 이 접근법을 실증적으로 검증한다.

제안 방법

• SGD 기반 최적화를 사용하여 대상 및 사전 학습 목표 F(θ) 및 G(θ)를 형식화한다.
• 타깃 데이터가 크면 사전 학습 모델에 대한 의존성이 약하다는 것을 보여주는 초과 위험 한계를 도출한다.
• 파인튜닝 중 사전 학습 데이터를 통합하기 위한 공동 목적 함수 αF_n(θ)+(1−α)H_m(θ)을 제안한다.
• 레이블 기반, 무작위, 유사도 기반(UOT) 선택의 세 가지 데이터 선택 전략을 도입한다.
• 운송 계획을 통해 사전 학습 데이터와 타깃 데이터 간의 유사성을 계산하는 UOT 목적 함수를 정의하고, 이는 일반화된 Sinkhorn 반복으로 해를 구한다.
• 공동 최적화 중에 레이블이 있는 및 레이블이 없는 사전 학습 data에 대한 기울기 계산을 설명한다.
• 감독 학습 및 자기지도 학습 사전 학습 시나리오에 대한 실용적 구현 세부 정보를 제공한다.

실험 결과

연구 질문

• RQ1 파인튜닝 중 사전 학습 데이터 재사용이 표준 파인튜닝을 넘는 대상 태스크 일반화를 향상시킬 수 있는가?
• RQ2 사전 학습 데이터와 대상 데이터 간의 유사도가 파인튜닝 성능에 어떤 영향을 미치는가?
• RQ3 사전 학습과 대상 작업 간의 도메인 간격을 가장 잘 줄이는 데이터 선택 전략은 무엇인가?
• RQ4 비대칭 OT 기반 선택이 감독 학습 및 자기지도 학습 사전 학습 전반에 걸쳐 강건한가?
• RQ5 제안된 방법이 제한된 데이터 조건에서 다양한 벤치마크 데이터셋에서 어떻게 작동하는가?

주요 결과

개	자동차	CUB	반려동물	SUN	항공기	DTD	Caltech	평균
81.02	90.86	78.48	90.55	63.65	89.16	77.50	93.09	83.04
81.47	90.91	78.96	90.39	63.68	89.59	77.07	93.27	83.17
83.??	??	??	??	??	??	??	??	??

• 파인튜닝에서 사전 학습 데이터를 재사용하면 8개 데이터셋에서 일반 파인튜닝보다 일관되게 정확도가 향상된다.
• 유사도 기반(UOT) 데이터 선택이 대부분의 경우 무작위 및 탐욕적 OT 선택보다 우수하다.
• UOT 기반 선택은 자기지도 사전 학습 시나리오와 저데이터 조건에서 더 큰 이득을 준다.
• 파인튜닝 데이터가 희소할 때 데이터 재사용이 더 큰 이득을 제공하여 저데이터 상황에서의 강건성을 시사한다.
• 감독 학습 사전 학습에서 UOT가 비교 방법들 중 평균 성능이 가장 높으며(Table 1 참조).
• 이 방법은 레이블 유무에 상관없이 작동하며 여러 데이터셋에서 Co-Tuning 같은 강력한 베이스라인보다 우수한 다재다능함을 보인다.