[논문 리뷰] A Systematic Benchmarking Analysis of Transfer Learning for Medical Image Analysis

Mohammad Reza Hosseinzadeh Taher, Fatemeh Haghighi외 3명|arXiv (Cornell University)|2021. 08. 12.

COVID-19 diagnosis using AI참고 문헌 38인용 수 23

한 줄 요약

이 논문은 의료 영상 분석을 위한 대규모 전이 학습 벤치마크를 제시하며, 다양한 의료 과제들에서 감독 학습 기반 ImageNet, 세분화된 iNat2021, 그리고 14개의 자기지도 학습 기반 ImageNet 모델을 비교한다. 연구 결과, 세분화된 데이터로 사전 훈련된 모델이 분할 작업에 유리하며, 자기지도 학습 모델이 감독 학습 모델을 뛰어넘는 경우가 많고, 의료 영상으로의 지속적 사전 훈련이 자연 영상과 의료 영상 간 도메인 갭을 효과적으로 줄임을 입증한다.

ABSTRACT

Transfer learning from supervised ImageNet models has been frequently used in medical image analysis. Yet, no large-scale evaluation has been conducted to benchmark the efficacy of newly-developed pre-training techniques for medical image analysis, leaving several important questions unanswered. As the first step in this direction, we conduct a systematic study on the transferability of models pre-trained on iNat2021, the most recent large-scale fine-grained dataset, and 14 top self-supervised ImageNet models on 7 diverse medical tasks in comparison with the supervised ImageNet model. Furthermore, we present a practical approach to bridge the domain gap between natural and medical images by continually (pre-)training supervised ImageNet models on medical images. Our comprehensive evaluation yields new insights: (1) pre-trained models on fine-grained data yield distinctive local representations that are more suitable for medical segmentation tasks, (2) self-supervised ImageNet models learn holistic features more effectively than supervised ImageNet models, and (3) continual pre-training can bridge the domain gap between natural and medical images. We hope that this large-scale open evaluation of transfer learning can direct the future research of deep learning for medical imaging. As open science, all codes and pre-trained models are available on our GitHub page https://github.com/JLiangLab/BenchmarkTransferLearning.

연구 동기 및 목표

• 세분화된 iNat2021 데이터로 사전 훈련된 모델의 의료 영상 분석 과제로의 전이 가능성 평가
• 다양한 의료 영상 과제에서 14개의 최신 자기지도 학습 기반 ImageNet 모델과 감독 학습 기반 ImageNet 모델의 성능 비교
• ImageNet 모델을 의료 영상으로 지속적으로 사전 훈련함으로써 자연 영상과 의료 영상 간 도메인 갭을 줄일 수 있는지 조사
• 향후 의료 영상 분석을 위한 딥 러닝 연구를 위한 포괄적이고 개방된 벤치마크 제공
• 의료 영상 분류 및 분할 작업에 적합한 사전 훈련 모델의 선택 및 적응 전략에 대한 실용적 통찰 제공

제안 방법

• 7개의 다양한 의료 영상 과제(CT, X-ray, 망막촬영 등 다양한 모odalities 포함)에 대해 14개의 자기지도 학습 기반 ImageNet 모델을 미세조정
• 270만 장의 이미지와 1만 종의 종을 포함하는 대규모 세분화된 데이터셋인 iNat2021에서 사전 훈련된 모델을 의료 과제로의 전이 학습에 활용
• NIH ChestX-Ray14 및 CheXpert와 같은 의료 데이터셋을 활용해 ImageNet 모델을 의료 도메인에 적합하도록 지속적(사전) 훈련 적용
• 각 자기지도 학습 방법에 맞는 표준 데이터 증강, 프로젝션 헤드, 손실 함수(예: 대비 손실, NCE, Barlow Twins) 사용
• 모든 과제에서 공식 데이터 분할과 표준 평가 지표(예: AUC, Dice 점수)를 사용해 공정한 비교 확보
• 사전 훈련 데이터의 세분성과 도메인 적응이 최종 성능에 미치는 영향을 분석하기 위해 아블레이션 스터디 수행

실험 결과

연구 질문

• RQ1 세분화된 iNat2021 데이터로 사전 훈련한 모델이 의료 영상 분할 및 분류 과제에서 감독 학습 기반 ImageNet 사전 훈련 모델보다 전이 성능가지며, 그 정도는 어떠한가?
• RQ2 자기지도 학습 기반 ImageNet 모델이 의료 영상 분석 과제에서 감독 학습 기반 ImageNet 모델를 능가할 수 있는가? 만약 가능하면 어떤 조건에서 그러한 성능 향상이 발생하는가?
• RQ3 ImageNet 모델을 의료 영상으로 지속적으로 사전 훈련함으로써 자연 영상과 의료 영상 간 도메인 갭을 어느 정도 줄일 수 있는가?
• RQ4 어느 사전 훈련 전략이 다양한 의료 영상 과제와 모odalities에 걸쳐 가장 강력하고 일반화 가능한 표현을 생성하는가?
• RQ5 다양한 사전 훈련 접근 방식이 학습한 局소적 특징과 전반적 특징 중 어떤 것이 의료 영상 분석에서 더 유리한가?

주요 결과

• 세분화된 iNat2021 데이터로 사전 훈련된 모델은 의료 영상 분할 과제에 특히 유리한 독특한 局소적 표현을 학습한다.
• 자기지도 학습 기반 ImageNet 모델은 평가된 모든 의료 과제에서 평균 성능 면에서 감독 학습 기반 ImageNet 기반 모델을 뛰어넘으며, 최소 3개의 모델이 모든 과제에서 기준 모델을 초월한다.
• 감독 학습 기반 ImageNet 모델을 의료 영상으로 지속적으로 사전 훈련함으로써 도메인 갭이 크게 감소하고, 이는 최종 의료 분류 및 분할 과제에서의 성능 향상으로 이어진다.
• 더러운 그레인의 ImageNet 데이터로 사전 훈련된 모델은 고수준의 전반적 특징을 학습하는 경향이 있으며 이는 분류 과제에서 더 효과적이나, 세분화된 사전 훈련은 분할 과제에 유용한 국소적 특징 학습을 향상시킨다.
• 자기지도 학습 기반 사전 훈련의 성능 향상은 감독 학습에서 자기지도 학습으로의 전환을 통해 의료 영상 분석의 표본 레이블링 비용을 크게 줄일 수 있음을 시사하며, 성능 저하 없이도 가능하다.
• 본 연구는 의료 데이터를 활용한 도메인 적응형 사전 훈련 전략이 의료 영상 분석에서 전이 학습을 향상시키는 데 매우 효과적인 전략임을 확인한다.