[논문 리뷰] Complex Fully Convolutional Neural Networks for MR Image Reconstruction

Muneer Ahmad Dedmari, Sailesh Conjeti외 4명|arXiv (Cornell University)|2018. 07. 09.

Advanced MRI Techniques and Applications참고 문헌 11인용 수 8

한 줄 요약

이 논문은 복소수 연산을 네트워크 전반에 걸쳐 활용하여 부족하게 촬영된 MR 영상을 복원하는 딥러닝 프레임워크인 복소수 밀집 완전 컨volution 신경망(ℂDFNet)을 제안한다. k-space 데이터를 본질적으로 복소수로 모델링하고 전용 복소수 컨볼루션, 배치 정규화, 활성화 레이어를 사용함으로써, ℂDFNet은 실수값 대비 복소수 대비 모델보다 더 뛰어난 미세 해부학적 구조와 고주파 수치를 복원하여 최신 기술 대비 최대 11.5% 향상된 Pratt의 미적도수(Merit)를 달성한다.

ABSTRACT

Undersampling the k-space data is widely adopted for acceleration of Magnetic Resonance Imaging (MRI). Current deep learning based approaches for supervised learning of MRI image reconstruction employ real-valued operations and representations by treating complex valued k-space/spatial-space as real values. In this paper, we propose complex dense fully convolutional neural network ($\mathbb{C}$DFNet) for learning to de-alias the reconstruction artifacts within undersampled MRI images. We fashioned a densely-connected fully convolutional block tailored for complex-valued inputs by introducing dedicated layers such as complex convolution, batch normalization, non-linearities etc. $\mathbb{C}$DFNet leverages the inherently complex-valued nature of input k-space and learns richer representations. We demonstrate improved perceptual quality and recovery of anatomical structures through $\mathbb{C}$DFNet in contrast to its real-valued counterparts.

연구 동기 및 목표

• 실수값 딥러닝 모델이 k-space 복소수 데이터를 별개의 실수 및 허수 성분으로 다루는 데서 비롯되는 한계를 해결하기 위해.
• MR k-space 데이터의 본질적 복소수 성격을 유지하는 완전한 종단간 딥러닝 프레임워크를 개발하기 위해.
• 복소수 밀집 블록을 통해 특징 전파 및 표현 학습을 향상시켜 재구성 품질을 향상시키기 위해.
• 다양한 가속도 요인과 부족 촬영 패턴에서의 방법의 강인성 평가를 위해.
• 복소수 신경망이 실수값 대비 미세 해부학적 구조와 고주파 텍스처를 더 잘 복원할 수 있음을 입증하기 위해.

제안 방법

• 복소수 컨볼루션 연산을 사용하여 직접적으로 복소수 k-space 데이터를 처리하는 복소수 완전 컨볼루션 신경망(ℂDFNet)을 제안한다.
• 특징 재사용과 정보 흐름 향상을 위해 복소수 컨볼루션, 복소수 배치 정규화, 복소수 ReLU 활성화를 포함한 복소수 밀집 블록 아키텍처를 도입한다.
• 시각적 품질과 구조적 충실도를 향상시키기 위해 평균 제곱오차와 구조적 유사도(SSIM)를 조합한 복합 손실 함수를 사용한다.
• 네트워크 출력과 측정된 부족 촬영 k-space 데이터 간의 일관성을 강제하는 데이터 일관성 레이어(DCL)를 통합한다.
• 위상과 진폭 관계를 유지하기 위해 복소수 가중치 초기화와 복소수 활성화 함수를 포함한 복소수 연산을 네트워크 전반에 적용한다.
• 완전히 촬영된 MR 영상들을 참조로 하여 종단간으로 학습함으로써, 모델이 데이터로부터 해부학적 사전 지식을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 종단간 딥러닝에서 복소수 연산을 사용할 경우 실수값 네트워크 대비 MRI 재구성 품질 향상이 가능한가?
• RQ2 복소수 레이어의 사용이 부족 촬영 MRI에서 미세 해부학적 구조와 고주파 수치의 복원에 어떤 영향을 미치는가?
• RQ3 데이터 일관성 레이어와 SSIM 기반 손실이 재구성 정확도와 시각적 품질 향상에 기여하는 정도는 어떠한가?
• RQ4 제안된 ℂDFNet은 다양한 가속도 요인과 부족 촬영 패턴에 대해 얼마나 강인한가?
• RQ5 k-space를 복소수 엔티티로 모델링할 경우, 실수 성분으로 별도로 다루는 것보다 위상과 진폭 관계를 더 잘 유지할 수 있는가?

주요 결과

• 6× 가속도 요인에서 최신 기술인 DLMRI 대비 ℂDFNet은 Pratt의 미적도수(FOM)에서 최대 11.5% 향상되어 미세 해부학적 세부 구조의 복원 능력이 뛰어나다는 것을 입증했다.
• 4× 가속도에서 ℂDFNet은 DLMRI 대비 FOM에서 12.5% 향상되어 구조적 복원 능력 향상이 일관되게 유지됨을 보였다.
• 데이터 일관성 레이어(DCL)의 포함으로 모든 테스트 조합에서 평균 6% 이상의 FOM 향상이 있었으며, 이는 재구성 정확도 향상에서의 핵심적 역할을 입증한다.
• 6× 가속도에서 복소수 밀집 블록 아키텍처는 실수값 대비 복소수 대비 모델(BL1)보다 FOM에서 5.7% 향상되어 복소수 특징 학습의 유용성을 입증했다.
• ℂDFNet은 다양한 가속도 요인에서 뛰어난 일반화 능력을 보였으며, 미리 보지 않은 부족 촬영 패턴에서도 높은 성능 유지를 유지했다.
• 4× 가속도에서 ℂDFNet은 MSE 5.54×10⁻⁴ 및 SSIM 0.9269를 달성하여, 제로-풀드 재구성 및 DLMRI 모두를 초월하는 모든 정량적 지표에서 뛰어난 성능을 보였다.