[논문 리뷰] Transfusion: Understanding Transfer Learning for Medical Imaging

Maithra Raghu, Chiyuan Zhang외 2명|arXiv (Cornell University)|2019. 02. 14.

COVID-19 diagnosis using AI참고 문헌 40인용 수 642

한 줄 요약

ImageNet으로부터의 전이 학습은 두 가지 큰 의료 영상 태스크에서 제한된 이득을 제공하며, 더 작고 경량화된 모델도 비교적 유사한 성능을 보이고, 상당한 특징 재사용은 가장 낮은 층에 국한되며 추가 가중치 스케일링 이점이 수렴에 도움을 준다.

ABSTRACT

Transfer learning from natural image datasets, particularly ImageNet, using standard large models and corresponding pretrained weights has become a de-facto method for deep learning applications to medical imaging. However, there are fundamental differences in data sizes, features and task specifications between natural image classification and the target medical tasks, and there is little understanding of the effects of transfer. In this paper, we explore properties of transfer learning for medical imaging. A performance evaluation on two large scale medical imaging tasks shows that surprisingly, transfer offers little benefit to performance, and simple, lightweight models can perform comparably to ImageNet architectures. Investigating the learned representations and features, we find that some of the differences from transfer learning are due to the over-parametrization of standard models rather than sophisticated feature reuse. We isolate where useful feature reuse occurs, and outline the implications for more efficient model exploration. We also explore feature independent benefits of transfer arising from weight scalings.

연구 동기 및 목표

• 자연 이미지에서 의료 영상 태스크로의 전이 학습의 효과를 동기화하고 평가한다.
• 두 개의 큰 의료 데이터셋에서 표준 ImageNet 아키텍처와 더 작은 경량 모델을 비교한다.
• 학습된 표현을 분석하여 특징 재사용을 이해하고 전이가 도움이 되는 위치를 식별한다.
• 특징 재사용과 무관하게 프리트레인 가중치의 수렴 이점을 조사한다.
• 성능과 계산 효율의 균형을 맞춘 하이브리드 전이 전략을 제안한다.

제안 방법

• Random Init와 ImageNet 사전학습을 사용하여 여러 아키텍처(ResNet-50, Inception-v3, 그리고 CBR이라고 불리는 경량 CNN 계열)를 평가한다.
• Retina fundus 이미지와 CheXpert 흉부 X-레이 두 개의 의료 대형 데이터셋을 사용하고 태스크별 AUC-ROC를 측정한다.
• 숨겨진 표현을 SVCCA로 분석하여 미세조정 전후의 표현 유사성을 평가한다.
• 프리트레인 가중치의 하위 집합을 재사용하고 네트워크의 상단을 재설계하여 가중치 전달 실험을 수행한다.
• 가중치 스케일링(Mean Var 초기화)을 통한 특징과 무관한 전이의 이점을 검토하여 수렴 속도를 연구한다.
• 조기 레이어 필터를 시각화하여 사전 학습된 특징이 학습 중 어떻게 적응하는지 이해한다.

실험 결과

연구 질문

• RQ1 ImageNet에서의 전이 학습이 임의 초기화 대비 의료 영상 태스크의 성능을 향상시키는가?
• RQ2 경량 아키텍처가 의료 태스크에서 ImageNet급 아키텍처와 동일한 성능을 내거나 능가할 수 있는가?
• RQ3 사전 학습에서의 특징 재사용은 의료 영상 모델의 네트워크 어느 부위에서 발생하는가?
• RQ4 특징 재사용과 무관하게 프리트레인 가중치가 수렴 속도에 영향을 주는가?
• RQ5 하이브리드 전이 전략은 이점을 유지하면서 더 유연한 모델 설계가 가능한가?

주요 결과

• 전이 학습은 두 의료 태스크와 아키텍처 전반에 걸쳐 제한된 성능 이점을 제공한다.
• 더 작고 단순한 CNN들(CBR)은 Retina 및 CheXpert 태스크에서 표준 ImageNet 모델과 비슷한 성능을 달성한다.
• ImageNet 상위 5 정확도는 의료 태스크 성능을 예측하지 못한다.
• 표현 분석에 따르면 대형 모델은 학습 중에 덜 변하고 특징 재사용은 주로 가장 낮은 층으로 제한된다.
• 특징 무관한 전이 이점은 가중치 스케일링을 통해 수렴 속도를 높여주는 Mean Var 초기화로 존재한다.
• 하이브드 접근 방식(최하위 층만 재사용하거나 경량 상단 재설계와 결합, 또는 합성 conv1 특징 사용)은 전체 전이 학습의 성능에 맞먹는 유연성을 추가로 제공한다.