[논문 리뷰] Deep multi-modal aggregation network for MR image reconstruction with auxiliary modality

Chun-Mei Feng, Huazhu Fu외 4명|arXiv (Cornell University)|2021. 10. 15.

Medical Imaging Techniques and Applications인용 수 7

한 줄 요약

이 논문은 완전히 샘플링된 보조 MRI 모odal리티(예: T1-가중)를 활용하여, 부족하게 샘플링된 k-space 데이터로부터 목표 모달리티(예: T2-가중)의 고해상도 재구성을 지도하는 딥 다중모달 집계 네트워크인 MARIO를 제안한다. 계층적이고 다중스케일 주의 메커니즘과 T1 기반 특징 융합을 통해 IXI 및 fastMRI 데이터셋에서 우수한 잡음 억제 및 영상 품질을 달성하였으며, NMSE, PSNR, SSIM 측면에서 최신 기술들을 능가한다.

ABSTRACT

Magnetic resonance (MR) imaging produces detailed images of organs and tissues with better contrast, but it suffers from a long acquisition time, which makes the image quality vulnerable to say motion artifacts. Recently, many approaches have been developed to reconstruct full-sampled images from partially observed measurements to accelerate MR imaging. However, most approaches focused on reconstruction over a single modality, neglecting the discovery of correlation knowledge between the different modalities. Here we propose a Multi-modal Aggregation network for mR Image recOnstruction with auxiliary modality (MARIO), which is capable of discovering complementary representations from a fully sampled auxiliary modality, with which to hierarchically guide the reconstruction of a given target modality. This implies that our method can selectively aggregate multi-modal representations for better reconstruction, yielding comprehensive, multi-scale, multi-modal feature fusion. Extensive experiments on IXI and fastMRI datasets demonstrate the superiority of the proposed approach over state-of-the-art MR image reconstruction methods in removing artifacts.

연구 동기 및 목표

• MRI 스캔 시간이 길고 움직임에 의한 잡음이 발생하는 임상 영상 문제를 해결하기 위해, k-space 데이터를 부족하게 샘플링하여 촬영 속도를 향상시키는 것.
• T1 및 T2와 같은 MRI 시퀀스 간의 다중모달 상관관계를 忽시하는 단일 모달리티 재구성 방법의 한계를 극복하는 것.
• 완전히 샘플링된 보조 모달리티(예: T1)를 활용하여, 계층적이고 상보적인 특징 표현을 학습함으로써 목표 모달리티(예: T2)의 재구성을 지도하는 방법을 개발하는 것.
• 채널 기반 및 공간 기반으로 중요한 특징을 강조하는 주의 메커니즘을 통해 선택적이고 다중스케일의 다중모달 특징 융합을 가능하게 하여 영상 품질을 향상시키는 것.
• 모달리티별 특징 학습과 동적 주의 기반 융합을 통합하여 MRI 영상 재구성 분야에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 각 모달리티(T1 및 T2)가 공유된 컨볼루션 블록을 통해 독립적으로 처리되어 모달리티별 특징 표현을 학습하는 이중 스트림 인코더-디코더 아키텍처를 제안한다.
• 전역 평균 풀링과 완전히 연결된 레이어를 사용하여 채널 기반 주의를 적용하는 T1 기반 주의 모듈을 도입한다. 이는 T1 특징에서 정보가 많은 채널을 강조한다.
• 공간 기반 주의 모듈을 추가로 도입하여 전역 최대 풀링과 7×7 컨볼루션을 사용하여 T1 특징의 주목할 만한 공간 영역에 집중하는 공간 주의 맵을 생성한다.
• 강화된 T1 특징과 T2 특징을 잔차 스타일의 원소별 곱셈과 덧셈을 통해 융합한다: $\hat{\bm{f}}_{T_{2}} = \bm{f}_{T_{2}} \otimes \bm{f}_{T_{1}}^{s} \oplus \bm{f}_{T_{2}}$, 이는 동적이고 주의 기반의 특징 조절을 가능하게 한다.
• 다양한 인코더 및 디코더 단계에서 T1 기반 융합 모듈을 적용하여 다중모달 간의 계층적이고 다중스케일 특징 집계를 실현한다.
• 종합 손실 함수를 사용하여 엔드 투 엔드 모델을 훈련한다: $\mathcal{L} = \alpha \mathcal{L}_{k\text{-space}} + \beta \mathcal{L}_{\text{Image}}$, $\alpha = 0.4$, $\beta = 0.6$로 설정하여 k-space 및 이미지 영역의 재구성 오차를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 완전히 샘플링된 보조 MRI 모달리티(예: T1)를 활용하면, 가속화된 MRI에서 목표로 하는 부족하게 샘플링된 모달리티(예: T2)의 재구성 품질을 크게 향상시킬 수 있는가?
• RQ2 계층적이고 다중스케일 주의 메커니즘이 T1 및 T2 MRI 시퀀스 간의 상보적인 다중모달 특징을 포착하는 데 얼마나 효과적인가?
• RQ3 네트워크의 여러 깊이에서 T1 기반 특징 융합을 적용하면 단일 단계 융합 대비 더 나은 잡음 억제 및 구조적 유지 성능를 달성하는가?
• RQ4 NMSE, PSNR, SSIM 측면에서 제안된 다중모달 집계 네트워크가 최신 단일 모달리티 딥 러닝 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 이 방법은 다양한 데이터셋(예: IXI 및 fastMRI)에서 일반화되어 다양한 가속률 조건에서도 안정적인 성능을 유지를 할 수 있는가?

주요 결과

• MARIO는 IXI 및 fastMRI 데이터셋에서 모두 최신 기술 수준의 성능을 달성하였으며, 다양한 가속률 조건에서 기존 방법들을 꾸준히 능가하여 NMSE, PSNR, SSIM 측면에서 뛰어난 성능을 보였다.
• 제안된 T1 기반 주의 메커니즘이 채널 기반 및 공간 기반으로 중요한 특징을 강조함으로써 특징 표현을 향상시켜 재구성 정밀도를 향상시켰다.
• 잔차 스타일 주의 모듈을 통한 T1 및 T2 특징의 다중스케일 융합은 복잡한 해부학적 구조를 가진 영역에서 특히 뛰어난 잡음 억제 성능를 보였다.
• 정량적 결과에 따르면, MARIO는 8× 가속률 조건에서 fastMRI 데이터셋에서 평균 PSNR 34.2 dB 및 SSIM 0.92를 기록하여 이전 방법들보다 뚜렷한 성능 향상을 보였다.
• 제거 실험 결과, T1 기반 주의 또는 융합 모듈을 제거할 경우 성능 저하가 뚜렷하게 발생하여 다중모달 및 계층적 특징 집계의 핵심적 역할을 확인하였다.