[논문 리뷰] Cats, not CAT scans: a study of dataset similarity in transfer learning for 2D medical image classification

Irma van den Brandt, Floris Fok외 3명|arXiv (Cornell University)|2021. 07. 13.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 연구는 2D 의료 영상 분류에서 전이학습을 평가하며, 자연 이미지(예: ImageNet)에서부터 의료 영상에 이르기까지 다양한 종류의 9개의 소스 데이터셋을 활용하여 세 개의 목표 의료 데이터셋에서 성능을 분석한다. 연구 결과, 비의료 기반의 ImageNet이 비록 기원이 의료가 아니지만 가장 높은 성능을 기록했으며, 데이터셋 유사성에 대한 직관적 판단은 전이 성공 여부를 예측하는 데에 빈약한 수단임을 확인하였다. 이는 의료 영상 분야에서 모델 선택에 대한 기존의 가정을 도전한다.

ABSTRACT

Transfer learning is a commonly used strategy for medical image classification, especially via pretraining on source data and fine-tuning on target data. There is currently no consensus on how to choose appropriate source data, and in the literature we can find both evidence of favoring large natural image datasets such as ImageNet, and evidence of favoring more specialized medical datasets. In this paper we perform a systematic study with nine source datasets with natural or medical images, and three target medical datasets, all with 2D images. We find that ImageNet is the source leading to the highest performances, but also that larger datasets are not necessarily better. We also study different definitions of data similarity. We show that common intuitions about similarity may be inaccurate, and therefore not sufficient to predict an appropriate source a priori. Finally, we discuss several steps needed for further research in this field, especially with regard to other types (for example 3D) medical images. Our experiments and pretrained models are available via \url{https://www.github.com/vcheplygina/cats-scans}

연구 동기 및 목표

• 소스 데이터셋의 기원(자연 이미지 대비 의료 이미지)과 크기가 2D 의료 영상 분류에서 전이학습 성능에 미치는 영향을 조사하는 것.
• 데이터셋 유사성 측정 방법이 특정 목표 의료 데이터셋에 대해 최적의 소스 데이터셋을 예측할 수 있는지 평가하는 것.
• 의료 영상 분야에서 데이터 유사성과 전이 가능성에 대한 기존 가정의 한계를 규명하는 것.
• 공개된 저장소를 통해 사전 훈련된 모델과 코드를 공유함으로써 재현 가능성과 자원 효율성을 향상시키는 것.

제안 방법

• ResNet50 유사 아키텍처를 사용하여 전이학습 실험을 수행하였으며, 9개의 다양한 소스 데이터셋에서 사전 훈련한 후, 세 개의 2D 의료 목표 데이터셋에서 미세조정을 수행하였다.
• 각 데이터셋의 유사성을 정량화하기 위해 Task2Vec을 활용하여 데이터 기반, 신경망 기반의 표현을 계산하였다.
• 의료 영상 모odal리티, 콘텐츠 유형 등과 같은 고수준 특징을 인간이 주석 처리한 자료를 수집하여 전문가 기반의 유사성 측정 방법을 정의하였다.
• 상위-1 정확도 및 AUC와 같은 표준 지표를 사용하여 다양한 소스 데이터셋 간의 전이 성능를 비교하였다.
• 일관된 전처리(예: 이미지 리사이징)와 훈련 프로토콜을 적용하여 공정한 비교를 확보하였지만, 하이퍼파rameter는 철저히 최적화되지 않았다.
• 모든 모델과 코드를 GitHub를 통해 공개하여 재현 가능성을 높이고, 계산 및 환경적 비용을 절감하고자 하였다.

실험 결과

연구 질문

• RQ1 ImageNet에서 사전 훈련하는 것이 2D 의료 영상 분류에서 의료 전용 데이터셋에서 사전 훈련하는 것보다 더 높은 성능을 내는가?
• RQ2 데이터셋 크기와 기원(자연 이미지 대비 의료 이미지)이 전이학습 성능에 어떤 영향을 미치는가?
• RQ3 데이터 기반 또는 전문가 기반의 유사성 측정 방법이 특정 목표 데이터셋에 대해 가장 효과적인 소스 데이터셋을 예측할 수 있는가?
• RQ4 일반적인 데이터셋 유사성에 대한 직관적 판단이 실제 전이 성능와 얼마나 관련이 있는가?
• RQ5 모델 아키텍처와 데이터 모달리티(예: 2D RGB 대비 3D 모달리티)는 전이 가능성과 유사성 가정의 타당성에 어떤 영향을 미치는가?

주요 결과

• 비의료 기반 데이터셋인 ImageNet이 2D 의료 영상 분류에서 모든 목표 의료 데이터셋에서 가장 높은 전이학습 성능를 기록하였으며, 전문적인 의료 소스 데이터셋보다도 뛰어났다.
• 더 큰 데이터셋 크기가 반드시 더 나은 전이 성능를 보장하지는 않으며, 작은 비의료 데이터셋 역시 강력한 성능를 낼 수 있다.
• 시각적 또는 클래스 수준의 유사성에 대한 일반적인 직관적 판단은 실제 전이 성능와 약한 상관성 또는 상관성이 없음을 보였다.
• 놀랍게도, 인간 평가나 Task2Vec에 의해 가장 유사한 데이터셋은 종종 가장 낮은 성능 향상을 보였으며, 이는 초보적 기대와 정반대였다.
• Task2Vec 유사성 측정 방법은 데이터 기반이지만, ImageNet에서 사전 훈련된 백본에 의존함으로써 편향이 발생할 수 있어 일반화 능력에 제한이 있다.
• 이 연구는 특히 3D 의료 영상이 포함된 더 다양한 데이터셋이 필요하며, 중복 방지를 줄이고 환경 영향을 줄이기 위해 공유 모델 저장소의 필요성을 강조한다.