[논문 리뷰] Unsupervised Finetuning

Suichan Li, Dongdong Chen외 6명|arXiv (Cornell University)|2021. 10. 18.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 사전학습된 표현을 소규모 레이블이 없는 타겟 데이터에 적응시키기 위해 비지도 미세조정을 제안하며, 표현 학습의 안정성을 높이기 위해 두 가지 전략—희소한 소스 데이터 재생 및 데이터 혼합—을 도입한다. 다양한 데이터셋과 전이 작업에서 기초적인 비지도 미세조정보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

This paper studies "unsupervised finetuning", the symmetrical problem of the well-known "supervised finetuning". Given a pretrained model and small-scale unlabeled target data, unsupervised finetuning is to adapt the representation pretrained from the source domain to the target domain so that better transfer performance can be obtained. This problem is more challenging than the supervised counterpart, as the low data density in the small-scale target data is not friendly for unsupervised learning, leading to the damage of the pretrained representation and poor representation in the target domain. In this paper, we find the source data is crucial when shifting the finetuning paradigm from supervise to unsupervise, and propose two simple and effective strategies to combine source and target data into unsupervised finetuning: "sparse source data replaying", and "data mixing". The motivation of the former strategy is to add a small portion of source data back to occupy their pretrained representation space and help push the target data to reside in a smaller compact space; and the motivation of the latter strategy is to increase the data density and help learn more compact representation. To demonstrate the effectiveness of our proposed ``unsupervised finetuning'' strategy, we conduct extensive experiments on multiple different target datasets, which show better transfer performance than the naive strategy.

연구 동기 및 목표

• 낮은 데이터 밀도로 인해 표준 비지도 학습이 실패하는 소규모 레이블이 없는 타겟 데이터셋에 사전학습된 모델을 적응시키는 도전 과제를 해결한다.
• 희소한 데이터에서 대비 학습이 불안정해지기 때문에, 사전학습된 표현에서 직접적인 비지도 미세조정이 성능을 떨어뜨린다는 점을 규명한다.
• 표현의 밀도를 높이고 데이터 밀도를 향상시키기 위해 희소한 소스 데이터 재생 및 데이터 혼합이라는 두 가지 효과적인 전략을 제안한다.
• 비지도 미세조정을 통한 더 나은 초기화가, 반복 학습 및 준지도 학습을 포함한 다양한 최종 작업에서 전이 성능을 향상시킨다는 것을 입증한다.
• 대비 손실이 낮은 데이터 환경에서의 한계를 체계적으로 분석하고, 표현 안정성에 기반한 해결책을 제안한다.

제안 방법

• 사전학습된 표현 공간을 유지하기 위해, 미세조정 중 대비 학습 과정에 소스 도메인 데이터의 소량(예: 10%)을 통합함으로써 '희소한 소스 데이터 재생'을 도입한다.
• 두 개의 임의의 이미지를 혼합하여 합성된 양성 샘플을 생성하고, 혼합 비율에 따라 가중치를 설정함으로써 데이터 밀도를 높이고 표현의 밀도를 증진시킨다.
• 두 전략을 결합하여 비지도 미세조정을 수행한다: 혼합된 샘플과 재생된 소스 데이터를 사용하여 타겟 데이터와 선택된 소스 데이터의 병합된 데이터 세트로 모델을 훈련한다.
• 소규모 타겟 데이터 세트에서 훈련하는 동안 표현 안정성을 유지하기 위해 MoCo 스타일의 큐와 동적 인코더를 적용한 대비 학습을 사용한다.
• 표준 대비 학습과 동일한 손실 목적함수를 사용하지만, 증강된 데이터와 재생된 소스 샘플을 포함하여, 종합적인 데이터 스트림에서 모델을 엔드 투 엔드로 훈련한다.
• 재생된 소스 데이터의 수를 제한하고 경량의 혼합 연산을 사용함으로써 계산 효율성을 확보하여, 실세계의 낮은 데이터 환경에 실용적으로 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 왜 사전학습된 모델에서 직접적인 비지도 미세조정이 소규모 레이블이 없는 타겟 데이터에서 실패하는가?
• RQ2 레이블이 없는 제한된 타겟 데이터에서 표현 품질을 어떻게 유지하고 향상시킬 수 있는가?
• RQ3 희소한 타겟 데이터 세트에서 비지도 표현 학습의 안정성을 높이기 위해 소스 데이터는 어떤 역할을 하는가?
• RQ4 데이터 혼합이 낮은 데이터 환경에서 표현의 밀도와 일반화 능력을 향상시킬 수 있는가?
• RQ5 제안된 전략을 적용한 비지도 미세조정이 다양한 최종 작업에서 더 나은 전이 성능을 낼 수 있는가?

주요 결과

• 희소한 소스 데이터 재생은 소수 샘플 전이 성능을 크게 향상시키며, Caltech101에서 2-shot 정확도를 6.8% 향상시키고, Pet에서 6.9% 향상시켰다.
• 데이터 혼합은 모든 데이터셋에서 일관되게 성능 향상을 이끌었으며, Food101에서 2-shot 전이 정확도가 23.12% 향상되었다.
• 두 전략의 조합이 가장 뛰어난 성능을 보였으며, Caltech101에서 8-shot 전이 조건에서 87.24%의 정확도를 기록하여 기준 비지도 미세조정을 능가했다.
• 비지도 미세조정된 모델을 초기화로 사용한 준지도 학습은, 클래스당 2개의 레이블만으로 Food101에서 8.3%의 성능 향상을 달성했으며, 표준 사전학습 기반 접근 방식은 2%에 그쳤다.
• 제거 실험 결과, 두 전략 모두 필수적임을 확인했으며, 특히 낮은 데이터 환경에서 각각의 제거로 인해 성능이 크게 하락했다.
• 제안된 방법은 다양한 사전학습 방법(지도 및 비지도), 타겟 데이터셋(Caltech101, Pet, CIFAR100, Food101), 전이 작업(검색, 클러스터링, 소수 샘플 학습)에 걸쳐 일반화 가능성을 입증했다.