[논문 리뷰] Transforming medical imaging with Transformers? A comparative review of key properties, current progresses, and future perspectives

Jun Li, Junyu Chen외 4명|arXiv (Cornell University)|2022. 06. 02.

Radiomics and Machine Learning in Medical Imaging인용 수 20

한 줄 요약

이 논문은 비전 트랜스포머 기반의 의학 영상 방법을 조사하고, CNN/RNN과 대비하며, 세분화, 인식, 탐지, 정합, 재구성 및 향상을 아우르는 Transformer 특성 및 하이브리드 아키텍처로 접근법을 분류한다.

ABSTRACT

Transformer, the latest technological advance of deep learning, has gained prevalence in natural language processing or computer vision. Since medical imaging bear some resemblance to computer vision, it is natural to inquire about the status quo of Transformers in medical imaging and ask the question: can the Transformer models transform medical imaging? In this paper, we attempt to make a response to the inquiry. After a brief introduction of the fundamentals of Transformers, especially in comparison with convolutional neural networks (CNNs), and highlighting key defining properties that characterize the Transformers, we offer a comprehensive review of the state-of-the-art Transformer-based approaches for medical imaging and exhibit current research progresses made in the areas of medical image segmentation, recognition, detection, registration, reconstruction, enhancement, etc. In particular, what distinguishes our review lies in its organization based on the Transformer's key defining properties, which are mostly derived from comparing the Transformer and CNN, and its type of architecture, which specifies the manner in which the Transformer and CNN are combined, all helping the readers to best understand the rationale behind the reviewed approaches. We conclude with discussions of future perspectives.

연구 동기 및 목표

• 의료 영상에서 트랜스포머 모델의 연구를 촉진하고 이를 CNN/RNN 기준선과 비교한다.
• 트랜스포머 기반 의료 영상 접근법에 대한 특성 주도 분류체계를 제공한다.
• 세분화, 인식, 탐지, 정합, 재구성, 향상 등 주요 작업에서 최신 방법을 조사한다.
• 의료 영상에서 Transformer-CNN 하이브리드의 장점, 한계 및 설계 선택사항을 강조한다.
• 의료 영상에 트랜스포머를 적용하는 향후 관점과 남은 과제를 논의한다.

제안 방법

• 자체 주의(Self-attention), 다중 헤드 자기 주의(MSA) 및 비전 트랜스포머 파이프라인을 포함한 트랜스포머의 기본 개념과 핵심 특성을 설명한다.
• 패치 기반 토큰화, 패치 임베딩, 위치 임베딩(사인형, 학습 가능, 상대적)을 설명한다.
• CNN과 트랜스포머의 결합에 대한 분류체계를 제시한다(Conv 유사, Transformer 유사 CNN, Conv-트랜스포머 하이브리드).
• 의료 영상 모델에서 패치 크기, 3D 대 2D, 하이브리드 인코더/디코더 구성과 같은 아키텍처 설계 선택을 조사한다.
• 손실 지형, 귀납적 편향, 노이즈 강건성이 트랜스포머 기반 모델에 미치는 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 의료 영상 분석에서 비전 트랜스포머 기반 모델이 능력과 한계 측면에서 CNN/RNN과 어떻게 비교되는가?
• RQ2 주요 의학 영상 작업(세분화, 인식, 탐지, 정합, 재구성, 향상) 전반에 걸쳐 트랜스포머 기반 아키텍처에서 어떤 진전이 있었는가?
• RQ3 다양한 모달리티와 작업에서 어떤 아키텍처 패턴(순수 트랜스포머, CNN-트랜스포머 하이브리드)이 가장 효과적인가?
• RQ4 데이터 요구, 귀납적 편향, 계산 요구사항 등 핵심 과제와 의료 영상에서의 트랜스포머의 향후 방향은 무엇인가?

주요 결과

• 트랜스포머는 큰 효과적 수용 영역을 제공하여 의학 영상에서 장거리 의존성의 모델링을 향상시킨다.
• 트랜스포머는 평탄한 손실 지형을 제시하고 특정 학습 조건에서 일반화 성능이 더 향상될 수 있다.
• 하이브리드 CNN-트랜스포머 아키텍처가 널리 보급되어 있으며 종종 효과적이며, 로컬 특징 추출과 글로벌 컨텍스트를 결합한다.
• 트랜스포머는 CNN에 비해 약한 귀납 편향으로 인해 더 큰 데이터 세트나 강력한 사전 학습이 필요하는 경향이 있다.
• 세분화, 인식 및 기타 작업을 위해 3D 및 2D 트랜스포머 기반 모델이 다양하게 제안되었으며, Conv-트랜스포머 하이브리드 및 패치 기반 접근법을 포함한다.
• 본 조사는 핵심 트랜스포머 특성과 아키텍처 유형별로 방법을 정리하여 설계 합리성 이해를 돕는다.