[논문 리뷰] When Semi-Supervised Learning Meets Transfer Learning: Training Strategies, Models and Datasets

Hong-Yu Zhou, Avital Oliver외 2명|arXiv (Cornell University)|2018. 12. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 16

한 줄 요약

이 논문은 사전 훈련된 모델을 미세조정할 때 준지도 학습(SSL)을 통합하는 방법을 조사하며, 특히 의료 영상과 같은 자원이 부족하고 도메인 이탈이 발생하는 환경에서 원천 도메인과 목표 도메인이 크게 다를 경우 SSL이 더 큰 성능 향상을 제공함을 밝혀냈다. 또한 충분한 레이블이 있는 경우 Adam 옵티마이저를 사용한 Pseudo-Label가 완전히 지도 학습 기반선을 능가함을 입증하여, 사전 훈련된 모델에 대해 SSL의 활용도가 이전에 상정된 것보다 높을 수 있음을 시사한다.

ABSTRACT

Semi-Supervised Learning (SSL) has been proved to be an effective way to leverage both labeled and unlabeled data at the same time. Recent semi-supervised approaches focus on deep neural networks and have achieved promising results on several benchmarks: CIFAR10, CIFAR100 and SVHN. However, most of their experiments are based on models trained from scratch instead of pre-trained models. On the other hand, transfer learning has demonstrated its value when the target domain has limited labeled data. Here comes the intuitive question: is it possible to incorporate SSL when fine-tuning a pre-trained model? We comprehensively study how SSL methods starting from pretrained models perform under varying conditions, including training strategies, architecture choice and datasets. From this study, we obtain several interesting and useful observations. While practitioners have had an intuitive understanding of these observations, we do a comprehensive emperical analysis and demonstrate that: (1) the gains from SSL techniques over a fully-supervised baseline are smaller when trained from a pre-trained model than when trained from random initialization, (2) when the domain of the source data used to train the pre-trained model differs significantly from the domain of the target task, the gains from SSL are significantly higher and (3) some SSL methods are able to advance fully-supervised baselines (like Pseudo-Label). We hope our studies can deepen the understanding of SSL research and facilitate the process of developing more effective SSL methods to utilize pre-trained models. Code is now available at github.

연구 동기 및 목표

• 준지도 학습(SSL)이 사전 훈련된 가중치에서 미세조정된 모델에 적용되었을 때, 무작위 초기화로 훈련하는 것과 비교해 추가적인 성능 향상을 제공하는지 조사하는 것.
• 훈련 전략, 모델 아키텍처, 데이터셋 도메인 이탈이 사전 훈련된 모델에서 SSL 방법의 성능에 미치는 영향을 분석하는 것.
• 원천 도메인과 목표 도메인이 상당히 다를 경우, SSL이 전이 학습을 어떻게 향상시키는지 특정 조건을 규명하는 것.
• Pseudo-Label, Mean Teacher, Virtual Adversarial Training와 같은 특정 SSL 방법의 효과성을 사전 훈련된 모델과 결합했을 때 평가하는 것.

제안 방법

• Pseudo-Label, Mean Teacher, Virtual Adversarial Training와 같은 다양한 SSL 방법을 사용하여 사전 훈련된 모델(예: ResNet-50, Inception-v3, VGG-16)을 목표 데이터셋에 대해 미세조정하는 방식.
• 성능과 내성 강도를 향상시키기 위해 수평 뒤집기 및 무작위 이동(기호: F+T)과 같은 데이터 증강 기법을 적용했으며, 결과를 악화시키는 노이즈 기반 증강 기법은 회피함.
• 학습률, 편향 크기(ε), 부드러움 계수(ξ) 등 초모수를 체계적으로 변화시켜, SSL 성능에 미치는 영향을 평가함.
• 일반화 성향을 분석하기 위해 검증 오차와 훈련 손실 곡선을 활용하였으며, 특히 Pseudo-Label와 같은 SSL 방법의 정규화 효과를 평가함.
• 학습률 스케줄링과 최적화 설정(예: Adam 대비 SGD)에 대한 분석을 통해 사전 훈련된 모델의 성능 요인을 분리함.
• 표준 벤치마크(CIFAR-10, CIFAR-100, SVHN)와 도메인 이탈이 발생하는 데이터셋(Indoor67, CUB200, 의료 영상)을 평가하여 전이 가능성과 도메인 갭 영향을 분석함.

실험 결과

연구 질문

• RQ1 사전 훈련된 가중치에서 미세조정된 모델에 준지도 학습(SSL)을 적용했을 때, 완전히 지도 학습 기반선과 비교해 측정 가능한 성능 향상이 발생하는가?
• RQ2 원천 사전 훈련 데이터셋(예: ImageNet)과 목표 데이터셋 간의 도메인 갭이 SSL의 효과성에 어떤 영향을 미치는가?
• RQ3 충분한 레이블 데이터가 있는 경우, Pseudo-Label와 같은 SSL 방법이 사전 훈련된 모델에 적용되었을 때 완전히 지도 학습 기반선을 능가할 수 있는가?
• RQ4 다양한 데이터 증강 기법과 훈련 전략이 사전 훈련된 모델에서 SSL 방법의 성능에 어떤 영향을 미치는가?
• RQ5 Virtual Adversarial Training의 초모수인 ε와 ξ가 사전 훈련된 모델을 미세조정할 때 SSL 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 원천 도메인과 유사한 도메인(예: ImageNet에서 CIFAR로)에서 사전 훈련된 모델을 미세조정할 경우, SSL 성능 향상은 크게 줄어들며, 종종 전혀 발생하지 않음.
• 원천 도메인과 목표 도메인이 상당히 다를 경우—특히 의료 영상처럼 ImageNet 사전 훈련이 거의 도움이 되지 않는 경우—SSL이 가장 큰 성능 향상을 제공함.
• 충분한 레이블 데이터가 있는 경우, Adam 옵티마이저를 사용한 Pseudo-Label가 항상 완전히 지도 학습 기반선을 능가함을 확인하여, 이전 문헌에서 간과되었을 수 있음.
• 수평 뒤집기와 무작위 이동(F+T) 조합이 데이터 증강 기법으로서 가장 뛰어난 SSL 성능을 보였으며, 노이즈 기반 증강 기법은 성능 저하를 초래함.
• 훈련 반복 횟수를 늘일수록 SSL 방법 간 성능 변동성이 감소하며, VAT와 Pseudo-Label는 더 긴 훈련 스케줄에서 유사한 정확도 수준으로 수렴함.
• 학습률는 핵심 초모수임: 5e-2와 같은 비최적의 선택은 Inception-v3 성능을 심각하게 떨어뜨리지만, 1e-3는 다양한 데이터셋에서 일관되고 뛰어난 결과를 제공함.