[논문 리뷰] Advances in Medical Image Analysis with Vision Transformers: A Comprehensive Review

Reza Azad, Amirhossein Kazerouni외 7명|arXiv (Cornell University)|2023. 01. 09.

COVID-19 diagnosis using AI인용 수 11

한 줄 요약

Transformer 기반 의료 영상 분석 방법의 체계적 백과사전으로, 분류, 분할, 탐지, 정합, 재구성, 합성, 보고서 생성 등을 다루며 분류 체계, 벤치마크, 미래 방향을 포함한다.

ABSTRACT

The remarkable performance of the Transformer architecture in natural language processing has recently also triggered broad interest in Computer Vision. Among other merits, Transformers are witnessed as capable of learning long-range dependencies and spatial correlations, which is a clear advantage over convolutional neural networks (CNNs), which have been the de facto standard in Computer Vision problems so far. Thus, Transformers have become an integral part of modern medical image analysis. In this review, we provide an encyclopedic review of the applications of Transformers in medical imaging. Specifically, we present a systematic and thorough review of relevant recent Transformer literature for different medical image analysis tasks, including classification, segmentation, detection, registration, synthesis, and clinical report generation. For each of these applications, we investigate the novelty, strengths and weaknesses of the different proposed strategies and develop taxonomies highlighting key properties and contributions. Further, if applicable, we outline current benchmarks on different datasets. Finally, we summarize key challenges and discuss different future research directions. In addition, we have provided cited papers with their corresponding implementations in https://github.com/mindflow-institue/Awesome-Transformer.

연구 동기 및 목표

• 다양한 작업에 걸쳐 의학 영상 분석에서 트랜스포머 모델의 현황을 조사한다.
• 설계의 분류 체계와 강점 및 한계에 대한 비판적 분석을 제공한다.
• 벤치마크, 데이터 세트 및 실무 임상 고려사항을 요약한다.
• 도전과제를 식별하고 향후 연구 방향을 제안한다.

제안 방법

• 트랜스포머 기반 의료 영상 논문에 대한 체계적 문헌 고찰(200편 이상).
• 작업별 및 구조 역할에 따른 모델의 분류 체계화(순수 트랜스포머 대 하이브리드 트랜스포머).
• 분류, 분할, 재구성, 탐지 등 작업 전반에서 데이터 세트, 벤치마크 및 성능 추세에 대한 논의.
• 임상 고려사항, 강건성, 프라이버시 및 엣지 배치 가능성에 대한 분석.

실험 결과

연구 질문

• RQ1 의료 영상 분석 각 작업에 사용되는 주요 트랜스포머 기반 접근법은 무엇인가?
• RQ2 순수 트랜스포머와 CNN-트랜스포머 하이브리드 모델은 성능 및 설계 상의 트레이드오프에서 어떻게 비교되는가?
• RQ3 벤치마크, 데이터 세트 및 평가 관행은 작업 전반에서 현재 최첨단을 어떻게 정의하는가?
• RQ4 의료 영상에서 트랜스포머를 형성하는 열린 도전과제 및 향후 방향은 무엇인가?

주요 결과

• 이 리뷰는 구조화된 분류 체계에서 200편이 넘는 논문을 다룬다.
• ViTs는 장거리 의존성 모델링 장점과 주의(attention) 기반 해석 가능성을 제공한다.
• 전역 맥락과 지역 세부 정보를 균형 있게 다루기 위해 하이브리드 CNN-트랜스포머 설계가 사용된다.
• 데이터 프라이버시 및 데이터 부족 문제에 대응하기 위해 연합 및 분산 학습(FESTA) 등 노력이 있다.
• 경량화 및 실시간 변형(예: POCFormer)은 자원 제약 기기에서 ViT를 배포하도록 적응시킨다.
• 이 논문은 임상적 관련성을 논의하고 Med-PaLM 2 및 SurgicalGPT와 같은 실제 사례를 인용하여 트랜스포머의 활용을 설명한다.