[논문 리뷰] Is it Time to Replace CNNs with Transformers for Medical Images?

Christos Matsoukas, Johan Fredin Haslum외 2명|arXiv (Cornell University)|2021. 08. 20.

AI in cancer detection참고 문헌 23인용 수 105

한 줄 요약

이 논문은 의료 영상에서 일반 CNN과 비전 트랜스포머(ViT)를 비교하여 ViT가 사전학습되면 CNN 성능에 근접하거나 이를 상회할 수 있으며 주의 맵의 주목도(attention maps)로 설명가능성을 추가로 제공합니다.

ABSTRACT

Convolutional Neural Networks (CNNs) have reigned for a decade as the de facto approach to automated medical image diagnosis. Recently, vision transformers (ViTs) have appeared as a competitive alternative to CNNs, yielding similar levels of performance while possessing several interesting properties that could prove beneficial for medical imaging tasks. In this work, we explore whether it is time to move to transformer-based models or if we should keep working with CNNs - can we trivially switch to transformers? If so, what are the advantages and drawbacks of switching to ViTs for medical image diagnosis? We consider these questions in a series of experiments on three mainstream medical image datasets. Our findings show that, while CNNs perform better when trained from scratch, off-the-shelf vision transformers using default hyperparameters are on par with CNNs when pretrained on ImageNet, and outperform their CNN counterparts when pretrained using self-supervision.

연구 동기 및 목표

• 일반적으로 사용 가능한 ViT가 대폭적인 재설계 없이 의학 영상 진단에서 CNN을 대체할 수 있는지 평가합니다.
• 다양한 초기화 전략(random, ImageNet 사전학습, 자체감독 사전학습)에서 CNN과 ViT의 성능을 비교합니다.
• 자연 영상에서의 전이학습 및 자체감독 학습의 이점이 의료 영상에도 확장되는지 확인합니다.
• ViT의 주의 맵(attention maps)을 통한 해석 가능성의 이점을 분석합니다.

제안 방법

• ResNet50(CNN)와 DeiT-S(ViT)를 16×16 토큰으로 사용한 표준화된 비교를 세 가지 초기화 전략에서 수행합니다.
• 세 가지 의료 데이터셋: APTOS2019(당뇨성 망막병증), ISIC2019(피부 병변), CBIS-DDSM(유방촬영)으로 평가합니다.
• 훈련: Adam 옵티마이저, 기본 학습률 1e-4, 워밍업, 학습률 감소, 입력 256×256, 일반적인 증강 기법.
• 설정당 다섯 차례 반복하고 검증 체크포인트 중 최상의 것을 선택합니다.
• ImageNet 초기화 후 대상 데이터에서 DINO를 통한 자체감독 사전학습을 수행한 뒤 지도 학습으로 미세조정합니다.

실험 결과

연구 질문

• RQ1 일반 ViT가 의료 영상 분석에서 CNN을 대체하는 plug-and-play 형태로 modest한 데이터 규모에서도 가능할까?
• RQ2 ImageNet 사전학습과 자체감독 사전학습이 ViT가 의료 태스크에서 CNN 수준 또는 그 이상을 달성하는 데 도움이 되는가?
• RQ3 자체감독 사전학습이 ViT에 CNN 대비 더 큰 이점을 제공하는가?
• RQ4 의료 영상에서 ViT가 CNN에 비해 해석 가능성 측면에서 어떤 이점을 제공하는가?

주요 결과

• ImageNet에서 사전학습된 ViT가 데이터가 제한적일 때 CNN과 비슷한 성능을 보인다.
• ImageNet 초기화를 통한 전이학습이 ViT가 의료 태스크에서 CNN의 성능에 근접하게 만든다.
• 자가 감독 사전학습과 지도 미세조정을 함께 수행하면 최상의 성능을 얻고, 이 설정에서 ViT가 CNN보다 약간 우수하다.
• 무작위 초기화의 경우 모든 데이터셋에서 CNN이 ViT보다 우수한 경향을 보인다.
• ViT는 주의 맵(attention maps)을 통해 해석 가능성을 향상시켜 Grad-CAM만으로는 얻기 어려운 더 세밀한 시각적 중요성을 제공한다.