[논문 리뷰] Effect of large-scale pre-training on full and few-shot transfer learning for natural and medical images.

Mehdi Cherti, Jenia Jitsev|arXiv (Cornell University)|2021. 05. 31.

COVID-19 diagnosis using AI참고 문헌 31인용 수 6

한 줄 요약

이 연구는 대규모 사전 훈련이 자연 및 의료 영상에서 전이 학습에 미치는 영향을 조사하며, ImageNet-21k(자연 영상)과 대규모 쇄골 X-ray 데이터셋에서 사전 훈련된 모델를 비교한다. 연구 결과, 원천 도메인과 대상 도메인이 유사할 경우 사전 훈련의 스케일링이 전이에 가장 큰 영향을 미치지만, 도메인이 다를 경우 이러한 이점은 감소함을 발견했다. 놀랍게도, 전체 샘플 전이에서 PadChest에 대해 대규모 ImageNet-21k 모델이 도메인 특화 X-ray 모델을 약간 앞서는 성능을 보였으며, 이는 일반 데이터로도 도메인 특화 사전 훈련 데이터 없이 높은 성능의 도메인 적응을 달성할 수 있음을 시사한다.

ABSTRACT

Transfer learning aims to exploit pre-trained models for more efficient follow-up training on wide range of downstream tasks and datasets, enabling successful training also on small data. Recent line of work posits strong benefits for model generalization and transfer when model size, data size, and compute budget are increased for the pre-training. It remains however still largely unclear whether the observed transfer improvement due to increase in scale also holds when source and target data distributions are far apart from each other. In this work we conduct large-scale pre-training on large source datasets of either natural (ImageNet-21k/1k) or medical chest X-Ray images and compare full and few-shot transfer using different target datasets from both natural and medical imaging domains. Our observations provide evidence that while pre-training and transfer on closely related datasets do show clear benefit of increasing model and data size during pre-training, such benefits are not clearly visible when source and target datasets are further apart. These observations hold across both full and few-shot transfer and indicate that scaling laws pointing to improvement of generalization and transfer with increasing model and data size are incomplete and should be revised by taking into account the type and proximity of the source and target data, to correctly predict the effect of model and data scale during pre-training on transfer. Remarkably, in full shot transfer to a large X-Ray chest imaging target (PadChest), the largest model pre-trained on ImageNet-21k slightly outperforms best models pre-trained on large X-Ray chest imaging data. This indicates possibility to obtain high quality models for domain-specific transfer even without access to large domain-specific data, by pre-training instead on comparably very large, generic source data.

연구 동기 및 목표

• 모델 크기, 데이터 크기, 계산량의 증가에 따른 사전 훈련의 스케일링이 자연 및 의료 영상 도메인 간 전이 성능에 미치는 영향을 평가하는 것.
• 원천 및 대상 데이터 분포가 떨어져 있을 경우 대규모 사전 훈련의 이점이 유지되는지 평가하는 것.
• 자연 영상(ImageNet-21k/1k)과 의료 영상(흉부 X-ray) 데이터에서 사전 훈련된 모델 간 전체 및 소수 샘플 전이 성능를 비교하는 것.
• 일반 데이터에서의 대규모 사전 훈련이 의료 영상에서 도메인 특화 사전 훈련보다 뛰어난 성능을 낼 수 있는지 판단하는 것.

제안 방법

• 모델 크기를 점차 증가시키며 ImageNet-21k(자연 영상)과 대규모 흉부 X-ray 데이터셋에서 대규모 사전 훈련을 수행하였다.
• 자연 및 의료 영상 도메인의 다양한 최종 응용 분야 데이터셋에 대해 전체 및 소수 샘플 전이 학습을 수행하였다.
• 표준 지표를 사용해 다수의 대상 데이터셋에서 성능을 평가하였으며, 일반 데이터와 도메인 특화 데이터에서 사전 훈련된 모델를 비교하였다.
• 사전 훈련 중 모델 크기와 데이터 스케일을 체계적으로 변화시켜 스케일링이 전이 성능에 미치는 영향을 분리하여 분석하였다.
• 모델 간 공정한 비교를 보장하기 위해 표준화된 훈련 및 평가 프로토콜을 사용하였다.

실험 결과

연구 질문

• RQ1 사전 훈련 중 모델 및 데이터 스케일을 증가시키면 다양한 원천-대상 도메인 쌍 간 전이 성능이 일관되게 향상되는가?
• RQ2 원천 및 대상 데이터 분포가 떨어져 있을 경우 대규모 사전 훈련의 이점이 감소하는가?
• RQ3 대규모 일반 데이터(예: ImageNet-21k)에서 사전 훈련된 모델이 최종 의료 영상 작업에서 도메인 특화 의료 영상 데이터에서 사전 훈련된 모델를 능가할 수 있는가?
• RQ4 자연 및 의료 영상 도메인에서 사전 훈련의 스케일링을 적용했을 때 전체 샘플 전이와 소수 샘플 전이의 성능는 어떻게 비교되는가?
• RQ5 도메인 유사성이 전이 학습에서 스케일링 법칙의 효과성에 미치는 영향은 어느 정도인가?

주요 결과

• 원천 도메인과 대상 도메인이 유사할 경우, 예를 들어 ImageNet과 유사한 자연 영상 데이터셋 간에는 사전 훈련의 스케일링이 전이 성능 향상에 기여한다.
• 원천 도메인과 대상 도메인이 다를 경우, 예를 들어 자연 영상과 의료 X-ray 간에는 사전 훈련의 스케일링 이점이 명확하지 않다.
• PadChest X-ray 데이터셋에 대한 전체 샘플 전이에서, ImageNet-21k에서 사전 훈련된 가장 큰 모델이 대규모 흉부 X-ray 데이터에서 사전 훈련된 최고 성능의 모델를 약간 앞서는 성능을 보였다.
• 소수 샘플 전이 결과에서도 유사한 경향을 보였으며, 이는 전이 효과성의 결정 요소로 도메인 유사성이 스케일링보다 더 중요하다는 것을 시사한다.
• 이러한 발견은 현재의 전이 학습 스케일링 법칙이 불완전하며, 성능 향상 예측을 정확히 하기 위해서는 데이터 도메인 유사성 요소를 포함해야 한다고 제안한다.