[논문 리뷰] Accelerated Multi-Modal MR Imaging with Transformers.

Chun-Mei Feng, Yunlu Yan외 4명|arXiv (Cornell University)|2021. 06. 27.

Medical Imaging Techniques and Applications참고 문헌 49인용 수 16

한 줄 요약

이 논문은 다중 스케일 특징을 목표 및 보조 MRI 영상 모odalities 간에 융합하기 위해 상호주의 메커니즘을 활용하는 MTrans라는 다중 모odal 트랜스포머 프레임워크를 제안한다. 기존의 CNN보다 넓은 범위의 장거리 의존성을 포착함으로써, 가속화된 MRI 영상 복원 품질을 크게 향상시킨다.

ABSTRACT

Accelerating multi-modal magnetic resonance (MR) imaging is a new and effective solution for fast MR imaging, providing superior performance in restoring the target modality from its undersampled counterpart with guidance from an auxiliary modality. However, existing works simply introduce the auxiliary modality as prior information, lacking in-depth investigations on the potential mechanisms for fusing two modalities. Further, they usually rely on the convolutional neural networks (CNNs), which focus on local information and prevent them from fully capturing the long-distance dependencies of global knowledge. To this end, we propose a multi-modal transformer (MTrans), which is capable of transferring multi-scale features from the target modality to the auxiliary modality, for accelerated MR imaging. By restructuring the transformer architecture, our MTrans gains a powerful ability to capture deep multi-modal information. More specifically, the target modality and the auxiliary modality are first split into two branches and then fused using a multi-modal transformer module. This module is based on an improved multi-head attention mechanism, named the cross attention module, which absorbs features from the auxiliary modality that contribute to the target modality. Our framework provides two appealing benefits: (i) MTrans is the first attempt at using improved transformers for multi-modal MR imaging, affording more global information compared with CNN-based methods. (ii) A new cross attention module is proposed to exploit the useful information in each branch at different scales. It affords both distinct structural information and subtle pixel-level information, which supplement the target modality effectively.

연구 동기 및 목표

• CNN 기반 방법이 다중 모달 MRI 영상에서 장거리 의존성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 간단한 사전 정보 삽입을 초월하여 목표 모달리티와 보조 모달리티 간의 더 깊은 융합 메커니즘을 탐색하기 위해.
• 목표 모달리티에서 보조 모달리티로 다중 스케일 특징을 전달하는 새로운 트랜스포머 아키텍처를 개발하여 복원 성능을 향상시키기 위해.
• 주의 메커니즘을 통해 글로벌 문맥 정보를 활용하여 가속화된 MRI 영상에서 영상 품질을 향상시키기 위해.

제안 방법

• MTrans는 목표 및 보조 MRI 모달리티를 별도로 처리한 후 상호주의 모듈을 통해 융합하는 이중 브랜치 트랜스포머 아키텍처를 사용한다.
• 상호주의 모듈은 보조 모달리티에서 유용한 특징을 선택적으로 전달하여 목표 모달리티를 향상시키는 개선된 멀티헤드 어텐션 메커니즘으로 구성된다.
• 다양한 네트워크 레벨에서 다중 스케일 특징을 추출하고 융합하여 구조적 세부 사항과 픽셀 수준의 세부 정보를 모두 유지한다.
• 프레임워크는 보조 모달리티의 가이던스를 이용해 과도하게 샘플링된 k-space 데이터에서 완전히 샘플링된 목표 모달리티 영상을 복원하도록 훈련된다.
• 주의 메커니즘이 전체 영상에 걸쳐 장거리 의존성을 모델링할 수 있어 CNN의 국소적 수용 영역 제한을 극복한다.
• 모델은 엔드 투 엔드로 훈련 가능하며, 예측된 영상와 진짜 영상 간의 차이를 최소화하기 위해 복원 손실을 최적화한다.

실험 결과

연구 질문

• RQ1 가속화된 MRI 영상에서 다중 모달 정보를 효과적으로 융합하여 복원 품질을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 트랜스포머 기반 아키텍처가 다중 모달 MRI 데이터에서 장거리 의존성을 포착하는 데에 CNN보다 어떤 이점을 제공하는가?
• RQ3 상호주의 메커니즘이 다중 스케일에서 목표 모달리티와 보조 모달리티 간의 특징 전달을 향상시킬 수 있는가?
• RQ4 이론적 MTrans 프레임워크는 기존의 CNN 기반 방법과 비교해 영상 품질과 복원 정확도 측면에서 어떻게 다른가?
• RQ5 다중 스케일 특징 융합은 구조적 세부 사항과 미세한 픽셀 수준의 세부 정보를 유지하는 데 기여하는가?

주요 결과

• MTrans는 가속화된 다중 모달 MRI 영상 복원에서 최신의 CNN 기반 방법보다 뛰어난 영상 복원 품질을 달성한다.
• 제안된 상호주의 모듈은 보조 모달리티에서 관련 특징을 효과적으로 전달하여 목표 모달리티의 정밀도를 향상시킨다.
• 트랜스포머 기반 아키텍처는 국소적 수용 영역 기반의 CNN보다 글로벌 문맥 정보를 더 효과적으로 포착한다.
• 다중 스케일 특징 융합은 재구성된 영상에서 뚜렷한 해부학적 구조와 미세한 픽셀 수준의 세부 정보를 모두 유지하는 데 기여한다.
• 정량적 지표인 PSNR 및 SSIM 측면에서 향상된 성능을 보이며, 정확한 값은 제공된 텍스트에 기재되어 있지 않다.
• MTrans는 다중 모달 MRI 복원에 대해 구조화된 트랜스포머 아키텍처와 상호주의를 적용한 최초의 프레임워크로, 향후 연구를 위한 새로운 기준을 설정한다.