[논문 리뷰] Implicit Neural Networks with Fourier-Feature Inputs for Free-breathing Cardiac MRI Reconstruction

Johannes F. Kunz, Stefan Ruschke외 1명|arXiv (Cornell University)|2023. 05. 11.

Advanced MRI Techniques and Applications인용 수 22

한 줄 요약

본 논문은 Fourier-feature 입력을 사용하는 학습되지 않은 암묵적 신경망 FMLP를 제시하여, undersampled 데이터로부터 2D 자유호흡 심장 MRI를 재구성하며, 영상 품질은 최신의 학습되지 않은 CNN 기반 방법과 동등하거나 더 나은 수준이지만 계산 비용은 더 높다.

ABSTRACT

Cardiac magnetic resonance imaging (MRI) requires reconstructing a real-time video of a beating heart from continuous highly under-sampled measurements. This task is challenging since the object to be reconstructed (the heart) is continuously changing during signal acquisition. In this paper, we propose a reconstruction approach based on representing the beating heart with an implicit neural network and fitting the network so that the representation of the heart is consistent with the measurements. The network in the form of a multi-layer perceptron with Fourier-feature inputs acts as an effective signal prior and enables adjusting the regularization strength in both the spatial and temporal dimensions of the signal. We study the proposed approach for 2D free-breathing cardiac real-time MRI in different operating regimes, i.e., for different image resolutions, slice thicknesses, and acquisition lengths. Our method achieves reconstruction quality on par with or slightly better than state-of-the-art untrained convolutional neural networks and superior image quality compared to a recent method that fits an implicit representation directly to Fourier-domain measurements. However, this comes at a relatively high computational cost. Our approach does not require any additional patient data or biosensors including electrocardiography, making it potentially applicable in a wide range of clinical scenarios.

연구 동기 및 목표

• 실시간 심장 MRI 재구성을 위한 학습 데이터 없이 동기를 부여한다.
• beating-heart imaging를 위한 공간-시간 선행으로서 Fourier-feature 입력을 갖는 암묵적 네트워크를 개발한다.
• 다양한 해상도와 슬라이스 두께에 걸친 데이터 일관 적합성을 undersampled 측정값에 대해 보인다.
• 비학습 CNN 기반 접근법 및 Fourier-domain 방법과 재구성 품질과 계산 비용을 비교한다.

제안 방법

• beating heart를 공간 및 시간 Fourier-feature 임베딩을 분리한 암묵적 MLP로 표현한다.
• 프레임 간 측정된 k-공간 데이터에 대해 데이터 일관성 손실을 최소화하여 네트워크를 적합시킨다.
• 이미지 강도를 모델링하기 위해 복소수 출력(실수부와 허수부)을 사용한다.
• 프레임을 무작위로 샘플링하여 Adam으로 학습하고; 학습된 네트워크에서 x_hat를 질의하여 비디오 출력을 얻는다.
• baselines와 비교: neural implicit k-space (NIK), Fourier-feature MLP in k-space (KFMLP), 및 time-dependent DIP (t-DIP).
• 좌표 스케일을 공간적(sx, sy) 및 시간적(st) 특징과 무작위 가우시안 임베딩에 대해 하이퍼파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 Fourier-feature 입력을 갖는 학습되지 않은 암묵적 네트워크가 고도로 undersampled 데이터로부터 고품질의 2D 실시간 심장 MRI 재구성을 제공할 수 있는가?
• RQ2 FMLP가 다양한 해상도와 획득 길이에 대해 이미지 품질과 계산 비용 면에서 NIK, KFMLP, t-DIP와 어떻게 비교되는가?
• RQ3 별도 공간-시간 Fourier-feature 임베딩이 결합 임베딩보다 재구성 선명도와 디테일을 향상시키는가?
• RQ4 암기된 표현의 재구성 품질에 대한 획득 시간 증가의 영향은 무엇인가?

주요 결과

• FMLP는 데이터셋 전반에서 t-DIP와 동등하거나 약간 우수한 영상 품질을 달성하며, SER 지표에서 NIK 및 KFMLP를 능가한다.
• 더 긴 획득 시간에서 FMLP와 t-DIP의 SER이 개선되지만, NIK 및 KFMLP는 한정된 이득을 보인다.
• 세 가지 작동 영역(저해상도/고해상도, 다양한 SNR)에서 FMLP와 t-DIP의 품질은 비슷하며; KFMLP는 열등하다.
• baselines에 비해 FMLP는 심근 세부사항(예: 유두근)을 더 선명하고 사실적으로 재현하며, 앨리어싱/노이즈 아티팩트가 적다.
• FMLP는 전체 좌표 그리드를 평가해야 하므로 계산 비용이 더 높지만, NIK/KFMLP는 측정 좌표만 샘플링하므로 더 빠르게 학습된다.