[논문 리뷰] Efficient Complex-Valued Vision Transformers for MRI Classification Directly from k-Space

Moritz Rempe, Lukas T. Rotkopf외 7명|arXiv (Cornell University)|2026. 01. 26.

Advanced MRI Techniques and Applications인용 수 0

한 줄 요약

소개 kViT, 언더샘플링된 k-Space MRI 데이터에서 직접 작동하는 완전 복소수값 Vision Transformer로, 방사형 패치와 복소 위치 임베딩을 사용하며 정확도는 경쟁력을 가지면서 VRAM 사용량을 대폭 감소시킵니다.

ABSTRACT

Deep learning applications in Magnetic Resonance Imaging (MRI) predominantly operate on reconstructed magnitude images, a process that discards phase information and requires computationally expensive transforms. Standard neural network architectures rely on local operations (convolutions or grid-patches) that are ill-suited for the global, non-local nature of raw frequency-domain (k-Space) data. In this work, we propose a novel complex-valued Vision Transformer (kViT) designed to perform classification directly on k-Space data. To bridge the geometric disconnect between current architectures and MRI physics, we introduce a radial k-Space patching strategy that respects the spectral energy distribution of the frequency-domain. Extensive experiments on the fastMRI and in-house datasets demonstrate that our approach achieves classification performance competitive with state-of-the-art image-domain baselines (ResNet, EfficientNet, ViT). Crucially, kViT exhibits superior robustness to high acceleration factors and offers a paradigm shift in computational efficiency, reducing VRAM consumption during training by up to 68$ imes$ compared to standard methods. This establishes a pathway for resource-efficient, direct-from-scanner AI analysis.

연구 동기 및 목표

• MRI k-Space 데이터에서 위상 정보를 보존하고 손실되는 재구성을 피하기 위해 AI 분석을 직접 추진한다.
• 비국소적인 k-Space 데이터에 적합한 복소수 ViT 아키텍처를 개발한다.
• 물리 정보를 반영한 방사형 k-Space 패칭 전략과 복소 위치 임베딩을 제안한다.
• 여러 MRI 데이터세트에 걸친 언더샘플링에 대한 강건성을 평가한다.
• 표준 이미지 도메인 기반 벤치마크 대비 VRAM 효율성을 시연한다.

제안 방법

• 복소수 전체를 사용하는 트랜스포머를 구현하고, 복소수 다중 헤드 자기 주의 및 피드포워드 네트워크를 적용한다.
• k-Space 중심으로의 반경 거리로 픽셀을 구분하는 방사형 k-Space 패칭을 도입한다.
• 패치에 복소수 선형 프로젝션을 적용하고 복소수 위치 임베딩(학습 가능 혹은 RoPE 기반)을 사용한다.
• fastMRI Prostate와 Knee 및 사내 Glioma 데이터셋에서 24x까지의 언더샘플링 요인을 사용해 학습한다.
• 실수값 ViT, EfficientNet, ResNet 벤치마크와 비교한다.
• AUROC 및 AUPRC를 5-fold 교차 검증 및 다양한 가속 요인으로 평가한다.

실험 결과

연구 질문

• RQ1 복소값 Vision Transformer가 k-Space 데이터에서 직접 작동하여 MRI 분류에 대해 영상 도메인 벤치마크와 대등하거나 상회를 보일 수 있는가?
• RQ2 Radial 패칭이 MRI 작업에서 ViT의 Cartesian 패치보다 k-Space 구조를 더 잘 포착하는가?
• RQ3 k-SViT의 성능과 자원 사용량이 실수값 모델과 비교하여 언더샘플링에 따라 어떻게 확장되는가?
• RQ4 복소 위치 임베딩이 k-Space 트랜스포머의 성능에 미치는 영향은 무엇인가?
• RQ5 프로스타트, 무릎, 뇌 교질종 등 서로 다른 MRI 모달리티와 병리학적 작업에서 접근법이 강건한가?

주요 결과

• kViT가 영상 도메인 벤치마크와 경쟁력 있는 AUROC 및 AUPRC를 달성하는 동시에 교육 중 VRAM 사용량을 대폭 줄인다( MIL 설정에서 최대 68× ).
• fastMRI Prostate에서 kViT는 고언더샘플링(16×)에서도 강건한 성능을 유지하며 ResNet50에 비해 VRAM이 훨씬 작다.
• fastMRI Knee에서 kViT는 VRAM을 줄인 상태에서 SOTA와 비슷한 성능에 도달하지만 더 높은 언더샘플링에서는 베이스라인과 유사하게 성능이 감소한다.
• MIL 실험에서 kViT는 VRAM이 크게 낮아지면서도 환자 수준 AUPRC가 강하고 AUROC도 경쟁력 있다.
• 주의도는 k-Space 중심에 집중되고 외곽의 고주파 영역에도 주의를 기울이는 것으로 나타나, 스펙트럴 정보 사용과 정합한다.
• Ablation은 16 링이 패칭에 최적이며 위상 정보의 중요성과 Cutout 보강의 이점을 강조한다.