[논문 리뷰] What Makes Transfer Learning Work For Medical Images: Feature Reuse & Other Factors

C. Matsoukas, Johan Fredin Haslum외 3명|arXiv (Cornell University)|2022. 03. 02.

AI in cancer detection인용 수 8

한 줄 요약

이 논문은 ImageNet에서 의료 영상 분야로의 전이 학습이 작동하는 이유를 조사하며, 특히 데이터가 적거나 도메인이 유사할 경우, 기능 재사용이 성능 향상의 주요 원동력임을 입증한다—특히 비전 트랜스포머(ViTs)와 작은 또는 다소 다를 수 있는 데이터셋에서 그렇다. 전이 학습은 데이터가 제한적이고 도메인이 유사하며 모델의 인덕티브 바이어스가 낮을 때 가장 효과적이며, ViTs의 경우 기능 재사용은 초기 레이어에 집중되어 있고, CNNs에서는 더 균일하게 분포되어 있음을 보여준다.

ABSTRACT

Transfer learning is a standard technique to transfer knowledge from one domain to another. For applications in medical imaging, transfer from ImageNet has become the de-facto approach, despite differences in the tasks and image characteristics between the domains. However, it is unclear what factors determine whether - and to what extent - transfer learning to the medical domain is useful. The long-standing assumption that features from the source domain get reused has recently been called into question. Through a series of experiments on several medical image benchmark datasets, we explore the relationship between transfer learning, data size, the capacity and inductive bias of the model, as well as the distance between the source and target domain. Our findings suggest that transfer learning is beneficial in most cases, and we characterize the important role feature reuse plays in its success.

연구 동기 및 목표

• ImageNet에서 의료 영상 도메인으로의 성공적인 전이 학습을 가능하게 하는 요인들을 이해하는 것.
• 최근 기능 재사용 가설에 대한 도전이 제기됨에 따라, 전이 학습에서 기능 재사용의 역할을 재평가하는 것.
• 모델 아키텍처(CNNs 대비 ViTs), 데이터 크기, 도메인 유사도, 인덕티브 바이어스가 전이 성능에 미치는 영향을 분석하는 것.
• 다양한 네트워크 아키텍처와 데이터셋에서 기능 재사용의 공간적 분포를 특성화하는 것.
• CheXpert와 같이 대규모 데이터셋을 사용하는 고립된 사례를 넘어서, 전이 학습의 유용성을 종합적이고 경험적으로 파악하는 것.

제안 방법

• APTOS 2019, CBIS-DDSM, ISIC 2019, CheXpert, PatchCamelyon의 다섯 가지 의료 영상 벤치마크에서 통제된 실험을 수행.
• 인덕티브 바이어스가 점차 증가하는 네 가지 모델 패밀리—DeiT-S(가장 낮음), Swin-T, Inception, ResNet50(가장 높음)—을 다양한 데이터 크기로 평가.
• 전이 학습(WT)과 무작위 초기화(RI) 간 성능 향상을 측정하고, 향상 요소를 가중치 통계와 기능 재사용 구성요소로 분해.
• 기능 재사용 평가를 위해 활성화 유사도, 기울기 흐름, 미세조정 중 레이어별 기능 안정성 등 여러 지표를 사용.
• ImageNet과 목표 의료 데이터셋 간 도메인 거리를 정량화하기 위해 FID를 적용.
• 모델 용량과는 별개로 인덕티브 바이어스의 영향을 분리하기 위해 아블레이션 스터디를 수행.

실험 결과

연구 질문

• RQ1 기능 재사용은 ImageNet에서 의료 영상으로의 전이 학습에서 성능 향상에 얼마나 기여하는가?
• RQ2 ImageNet과 의료 데이터셋 간의 데이터 크기와 도메인 거리는 전이 학습의 효과성에 어떻게 영향을 미치는가?
• RQ3 모델의 인덕티브 바이어스 강도가 전이 학습과 기능 재사용에 대한 의존도에 어떻게 영향을 미치는가?
• RQ4 비전 트랜스포머(ViTs)와 컨volution 신경망(CNNs) 간 기능 재사용의 공간적 분포에는 어떤 차이가 있는가?
• RQ5 전이 학습에서 성능 향상이 최소화되는 조건는 무엇이며, 이러한 경우 기능 재사용이 아닌 가중치 통계에 기인하는가?

주요 결과

• 전이 학습은 대부분의 의료 영상 데이터셋에서 상당한 성능 향상을 제공하며, 특히 데이터가 부족하거나 도메인이 ImageNet과 유사할 경우 두드러진다.
• 기능 재사용은 성능 향상과 강하게 상관되며, 특히 비전 트랜스포머(ViTs)에서 두드러지게 나타나며, 초기 레이어의 기능 재사용이 가장 중요하다.
• 낮은 인덕티브 바이어스를 가진 모델(예: DeiT-S)은 기능 재사용에 가장 크게 의존하지만, 높은 인덕티브 바이어스를 가진 모델(예: ResNet50)은 데이터가 적거나 도메인이 유사하지 않은 경우를 제외하고는 성능 향상이 덜하다.
• ViTs에서는 기능 재사용이 초기 레이어에 집중되어 있으며, 후속 레이어를 제거해도 성능에 큰 영향을 주지 않아 초기 기능이 '끈적거리는' 성질을 지님.
• CNNs에서는 기능 재사용이 레이어 전반에 걸쳐 더 균일하게 분포되어 있으며, 점진적으로 복잡도가 향상되지만, 대규모 또는 거리가 먼 데이터셋에서는 성능 향상이 정점에 도달할 수 있음.
• 기능 재사용이 덜 중요한 것으로 확인된 고립된 사례는 [36, 30]에서 지적한 lin에 해당하며, 이는 CheXpert와 같이 대규모이고 거리가 먼 데이터셋에서 발생하며, 성능 향상이 미미하고 주로 가중치 통계에 기인함을 시사한다.