[논문 리뷰] Transformers in Medical Image Analysis: A Review

Kelei He, Gan Chen외 8명|arXiv (Cornell University)|2022. 02. 24.

Advanced Neural Network Applications인용 수 60

한 줄 요약

Transformer 아키텍처 및 의료 영상 분석에서의 응용에 대한 포괄적 검토로, 순수 및 하이브리드 Transformer 모델을 포함하여 분류, 분할, 탐지, 정합, 합성 및 다중 모달 학습을 다루고, 도전과제와 향후 방향을 제시한다.

ABSTRACT

Transformers have dominated the field of natural language processing, and recently impacted the computer vision area. In the field of medical image analysis, Transformers have also been successfully applied to full-stack clinical applications, including image synthesis/reconstruction, registration, segmentation, detection, and diagnosis. Our paper aims to promote awareness and application of Transformers in the field of medical image analysis. Specifically, we first overview the core concepts of the attention mechanism built into Transformers and other basic components. Second, we review various Transformer architectures tailored for medical image applications and discuss their limitations. Within this review, we investigate key challenges revolving around the use of Transformers in different learning paradigms, improving the model efficiency, and their coupling with other techniques. We hope this review can give a comprehensive picture of Transformers to the readers in the field of medical image analysis.

연구 동기 및 목표

• 비전 및 의료 영상화에서의 Transformer 기본 원리 및 진화에 대한 철저한 개요를 제공한다.
• 의료 영상 작업에 맞춘 Transformer 기반 아키텍처를 조사하고 그 한계를 식별한다.
• 약한 지도 학습, 다중 작업, 다중 모달 학습 등의 학습 패러다임과 효율성/해석 가능성 설계 고려사항을 논의한다.
• 의료 영상에서 데이터 부족, 계산 자원 문제, 다른 기법과의 융합에 직면한 도전을 강조한다.
• 향후 Transformer 기반의 의료 영상 분석 연구 방향에 대한 지침을 제시한다.

제안 방법

• 핵심 Transformer 구성 요소와 식과 다중 헤드 어텐션을 설명한다.
• 의료 영상에 적용되는 Vision Transformer(ViT), DETR, DeiT, Swin-Transformer 및 관련 변형을 요약한다.
• 의료 영상 응용을 분류, 분할, 합성/번역, 탐지, 정합, 비디오 분석으로 분류하고, 순수 및 하이브리드(CNN/ViT, 그래프 기반) 접근 방식을 제시한다.
• 학습 패러다임과 효율성 전략(사전 학습, 지식 증류, 윈도우 어텐션, Linformer 등)을 논의한다.
• 문헌을 종합하고(170개가 넘는 Transformer 기반 방법들) CNN 기반 접근법과의 비교를 제시한다.

실험 결과

연구 질문

• RQ1 의료 영상 분석과 관련된 핵심 Transformer 메커니즘 및 아키텍처 변형은 무엇인가?
• RQ2 Pure 대비 Hybrid로의 Transformer 모델이 다양한 의료 영상 작업(분류, 분할, 탐지, 합성, 정합)에서 어떻게Adapt되었나?
• RQ3 의료 영상에 Transformer를 적용할 때의 주요 도전과 한계는 무엇이며, 효율성과 해석 가능성을 어떻게 개선할 수 있는가?
• RQ4 Weak supervision, multi-task, multi-modal 같은 학습 패러다임이 이 영역의 Transformer 아키텍처와 어떻게 상호 작용하는가?
• RQ5 임상 의료 영상 작업에서 Transformer의 채택과 성능을 높일 수 있는 향후 방향은 무엇인가?

주요 결과

• Transformer가 분류, 분할, 탐지, 합성, 정합 등 광범위한 의료 영상 작업에 적용되어 왔다.
• CNN이나 그래프 표현을 Transformer와 결합한 하이브리드 아키텍처가 일반적이며, 데이터가 제한된 상황에서 의료 영상에서 순수 ViT보다 우수한 성능을 보일 수 있다.
• 사전 학습 및 데이터 효율성 전략(예: DeiT, 패치 크기 고려, 지식 증류)이 의료 영상에서의 성능에 결정적이다.
• 어텐션 기반 및 윈도우드(Self-attention) 변형(예: Swin-Transformer, Linformer 변형)이 대형 의료 영상의 계산 비용을 줄이는 데 도움을 준다.
• 응용은 X-선, CT, MRI, 초음파, 조직병리학 등 여러 모달리티와 작업에 걸쳐 있으며, 특정 설정에서 CNN 기반 기준보다 경쟁력 있거나 우수한 결과를 보고하는 연구가 많다.