[논문 리뷰] TransMed: Transformers Advance Multi-modal Medical Image Classification

Yin Dai, Yifan Gao|arXiv (Cornell University)|2021. 03. 10.

Advanced Neural Network Applications참고 문헌 28인용 수 10

한 줄 요약

TransMed는 다중 모odal 의료 영상 분류를 위한 하이브리드 CNN-Transformer 아키텍처를 제안하며, 자기주의(attention)를 활용해 모odal 간 장거리 상관관계를 모델링하고, 국소적 특징 추출을 위해 CNN을 사용한다. 이는 파라티드 종양 분류에서 87.0%의 정확도(TransMed-T)를 기록하며 기존 방법들에 비해 유의하게 적은 파라미터 수와 FLOPs를 사용하여 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Over the past decade, convolutional neural networks (CNN) have shown very competitive performance in medical image analysis tasks, such as disease classification, tumor segmentation, and lesion detection. CNN has great advantages in extracting local features of images. However, due to the locality of convolution operation, it can not deal with long-range relationships well. Recently, transformers have been applied to computer vision and achieved remarkable success in large-scale datasets. Compared with natural images, multi-modal medical images have explicit and important long-range dependencies, and effective multi-modal fusion strategies can greatly improve the performance of deep models. This prompts us to study transformer-based structures and apply them to multi-modal medical images. Existing transformer-based network architectures require large-scale datasets to achieve better performance. However, medical imaging datasets are relatively small, which makes it difficult to apply pure transformers to medical image analysis. Therefore, we propose TransMed for multi-modal medical image classification. TransMed combines the advantages of CNN and transformer to efficiently extract low-level features of images and establish long-range dependencies between modalities. We evaluated our model for the challenging problem of preoperative diagnosis of parotid gland tumors, and the experimental results show the advantages of our proposed method. We argue that the combination of CNN and transformer has tremendous potential in a large number of medical image analysis tasks. To our best knowledge, this is the first work to apply transformers to medical image classification.

연구 동기 및 목표

• 다중 모달 의료 영상에서 CNN의 장거리 상관관계 포착 능력의 한계를 해결한다.
• 작은 의료 데이터셋에서 순수한 Transformer의 낮은 성능을 극복하기 위해 CNN과 결합한다.
• 낮은 계산 비용으로 효과적인 모달 간 관계를 모델링할 수 있는 효율적인 다중 모달 융합 전략을 개발한다.
• 다양한 영상 모달을 통합이 필요한 과제에서 Transformer의 효과성을 입증한다.
• 분류를 넘어서 다양한 의료 영상 과제에 적용 가능한 유연하고 확장 가능한 아키텍처를 제안한다.

제안 방법

• 각 모달에서 국소적 특징 추출을 위해 CNN 브랜치(ResNet18/34/50/152)를 통합한다.
• 다중 헤드 자기주의를 통해 모달 간 장거리 상관관계를 모델링하기 위해 비전 트랜스포머(DeiT-Tiny/Small/Base) 브랜치를 사용한다.
• 학습 가능한 융합 모듈을 통해 두 브랜치의 특징을 특징 수준에서 융합하여 모달 간 상호작용을 가능하게 한다.
• 패치 기반 이미지 직렬화(다양한 패치 크기 K)를 적용하여 영상을 트랜스포머 인코더에 입력한다.
• 다중 클래스 분류를 위한 표준 크로스 엔트로피 손실을 사용해 엔드 투 엔드 모델을 훈련시킨다.
• 대규모 데이터셋에서의 전체 스케일 사전 훈련을 피하고 경량 기반 아키텍처를 사용하여 효율성을 최적화한다.

실험 결과

연구 질문

• RQ1 의료 영상에서 명시적이고 의미적으로 유의미한 장거리 상관관계가 존재할 경우, Transformer가 다중 모달 의료 영상에서 이러한 관계를 효과적으로 모델링할 수 있는가?
• RQ2 기존의 입력 수준, 특징 수준, 결정 수준 융합 전략과 비교해 볼 때, 하이브리드 CNN-Transformer 아키텍처는 다중 모달 의료 영상 분류에서 어떤 성능을 보이는가?
• RQ3 의료 영상 분석에서 비전 트랜스포머 성능에 미치는 패치 크기의 영향은 어떠한가?
• RQ4 작은 의료 영상 데이터셋에서 하이브리드 아키텍처가 순수한 CNN 또는 순수한 Transformer 모델을 초월할 수 있는가?
• RQ5 제안된 방법은 정확도를 유지하거나 향상시키면서 계산 비용을 얼마나 줄일 수 있는가?

주요 결과

• TransMed-T는 파라티드 종양 분류에서 87.0%의 정확도를 기록했으며, P3D에 비해 평균 정확도 약 12.8% 향상되었다.
• 전체 TransMed-B 및 TransMed-L 모델는 약간의 과적합 현상을 보였으며, 이는 작은 데이터셋에서 일반화 능력에 잠재적 한계가 있음을 시사한다.
• Transformer 브랜치를 제거하면 정확도가 71.3%로 떨어지며, 이는 그가 모달 간 상관관계를 매우 적은 파라미터 증가로 모델링하는 데 핵심적인 역할을 한다는 것을 입증한다.
• CNN 브랜치를 제거하면 성능이 급격히 떨어지며(51.3% 정확도), 이는 소규모 데이터 환경에서 국소적 특징 추출의 중요성을 강조한다.
• 최적의 패치 크기는 K=2로, 이때 87.0%의 정확도를 달성하였다. 더 큰 패치 크기(K≥8)는 의미 정보 손실로 인해 성능이 저하되었다.
• TransMed는 기존 방법들에 비해 유의미하게 적은 파라미터(17M)와 FLOPs(0.09 TFLOPs)를 사용하여 높은 효율성을 입증했다.