[논문 리뷰] A Data-scalable Transformer for Medical Image Segmentation: Architecture, Model Efficiency, and Benchmark

Yunhe Gao, Mu Zhou외 4명|arXiv (Cornell University)|2022. 02. 28.

Radiomics and Machine Learning in Medical Imaging인용 수 64

한 줄 요약

MedFormer는 프리트레이닝 없이 처음부터 학습하는 데이터 확장형 Transformer로, 7개의 공개 데이터셋에서 CNN 및 다수의 Transformer를 능가하며 데이터 효율성과 도메인 견고성을 입증하는 3D 의료 영상 분할 솔루션이다.

ABSTRACT

Transformers have demonstrated remarkable performance in natural language processing and computer vision. However, existing vision Transformers struggle to learn from limited medical data and are unable to generalize on diverse medical image tasks. To tackle these challenges, we present MedFormer, a data-scalable Transformer designed for generalizable 3D medical image segmentation. Our approach incorporates three key elements: a desirable inductive bias, hierarchical modeling with linear-complexity attention, and multi-scale feature fusion that integrates spatial and semantic information globally. MedFormer can learn across tiny- to large-scale data without pre-training. Comprehensive experiments demonstrate MedFormer's potential as a versatile segmentation backbone, outperforming CNNs and vision Transformers on seven public datasets covering multiple modalities (e.g., CT and MRI) and various medical targets (e.g., healthy organs, diseased tissues, and tumors). We provide public access to our models and evaluation pipeline, offering solid baselines and unbiased comparisons to advance a wide range of downstream clinical applications.

연구 동기 및 목표

• 데이터 중심의 의료 영상 분할을 동기화하고 제한된 데이터, 주석 비용 및 도메인 시프트를 해결한다.
• 프리트레이닝 없이 3D 의료 영상을 다룰 수 있는 통합적이고 확장 가능한 Transformer 백본을 제안한다.
• 일반화 성능을 높이기 위한 구조적 귀납 바이어스, 효율적 어텐션 및 전역 다중 스케일 융합을 도입한다.
• 의료 영상 분할에서 MedFormer를 CNN 및 Transformer 베이스라인과 다양한 데이터셋 및 모달리티에 대해 평가한다.

제안 방법

• 투영 및 FFN에서 깊이별 분리 합성곱(depthwise separable convolutions)을 통한 컨볼루션 인덕티브 바이어스를 도입한다.
• 의미 지도(semi) 맵을 통해 어텐션 복잡도를 제곱량에서 거의 선형으로 감소시키는 양방향 다중-head 어텐션(B-MHA)을 개발한다.
• 스케일 간 맥락 통합을 위한 전역 다중 스케일 시맨틱 맵 융합 메커니즘을 구현한다.
• 컨볼루션 스템, 계층형 B-MHA 블록, 깊은 감독이 있는 디코더를 갖춘 MedFormer를 구성한다.
• 프리트레이닝 없이 작은 데이터에서 큰 데이터까지의 데이터 스케일 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 프리트레이닝 없이 학습된 데이터 확장형 Transformer가 다양한 의료 영상 작업에서 최첨단 분할 성능을 달성할 수 있는가?
• RQ2 B-MHA가 선형 또는 거의 선형의 어텐션 복잡도를 유지하면서 고해상도 3D 데이터의 글로벌 관계를 보존할 수 있는가?
• RQ3 전역 다중 스케일 시맨틱 맵 융합이 계산 비용이 과도하지 않으면서 경계 구분을 개선할 수 있는가?
• RQ4 MedFormer는 CNN 및 ViT 기반 모델에 비해 보지 않은 도메인과 다양한 공급업체에서 일반화 능력을 보이는가?

주요 결과

• MedFormer는 프리트레이닝 없이 작은 데이터에서 큰 데이터까지 우수한 성능을 달성한다.
• 대형 심근 MRI 데이터셋에서 MedFormer는 5%: 87.72, 10%: 87.99, 40%: 88.80, 70%: 88.92, 100%: 89.05 Dice 점수로 다수의 베이스라인을 능가한다.
• MedFormer는 더 적은 매개변수와 중간 수준의 FLOPs를 사용하나 B-MHA를 통해 선형에 가까운 복잡도를 가능하게 하여 강한 정확성을 제공한다.
• MedFormer는 도메인 시프트에 대한 견고성을 보이며, 특히 낮은 데이터 regime에서 보지 않은 도메인 C 및 D에서 높은 성능을 유지한다.
• 7개의 공개 3D 분할 데이터셋에서 MedFormer는 일관되게 nnUNet 및 다수의 Transformer 기반 모델을 능가하여 일반화 능력이 강함을 시사한다.