[論文レビュー] Implicit Neural Networks with Fourier-Feature Inputs for Free-breathing Cardiac MRI Reconstruction

Johannes F. Kunz, Stefan Ruschke+1 more|arXiv (Cornell University)|May 11, 2023

Advanced MRI Techniques and Applications被引用数 22

ひとこと要約

本論文はFMLPを提案する。Fourier-feature 入力を用いた未訓練の暗黙的ニューラルネットワークにより、アンダーサンプリングデータから2D自由呼吸心臓MRIを再構成し、最新鋭の未訓練CNNベース手法と同等以上の画質を、より高い計算コストで達成する。

ABSTRACT

Cardiac magnetic resonance imaging (MRI) requires reconstructing a real-time video of a beating heart from continuous highly under-sampled measurements. This task is challenging since the object to be reconstructed (the heart) is continuously changing during signal acquisition. In this paper, we propose a reconstruction approach based on representing the beating heart with an implicit neural network and fitting the network so that the representation of the heart is consistent with the measurements. The network in the form of a multi-layer perceptron with Fourier-feature inputs acts as an effective signal prior and enables adjusting the regularization strength in both the spatial and temporal dimensions of the signal. We study the proposed approach for 2D free-breathing cardiac real-time MRI in different operating regimes, i.e., for different image resolutions, slice thicknesses, and acquisition lengths. Our method achieves reconstruction quality on par with or slightly better than state-of-the-art untrained convolutional neural networks and superior image quality compared to a recent method that fits an implicit representation directly to Fourier-domain measurements. However, this comes at a relatively high computational cost. Our approach does not require any additional patient data or biosensors including electrocardiography, making it potentially applicable in a wide range of clinical scenarios.

研究の動機と目的

• トレーニングデータなしでリアルタイム心臓MRI再構成を動機づける。
• Fourier-feature 入力を空間-時間事前情報として用いる潜在的ネットワークを開発し、拍動する心臓の画像化を行う。
• 異なる解像度やスライス厚さに跨るアンダーサンプル測定に対してデータ整合フィットを実証する。
• 未訓練CNNベースのアプローチおよび Fourier-domain 法と比較して再構成品質と計算コストを評価する。

提案手法

• 拍動する心臓を、空間および時間のFourier-feature埋め込みを別々に持つ暗黙的MLPとして表現する。
• フレーム間で測定されたk-spaceデータに対するデータ一貫性損失を最小化することでネットワークを適合させる。
• 画像強度をモデル化するため、複素値出力（実部と虚部）を用いる。
• ランダムにサンプリングされたフレームでAdamで訓練し、訓練済みネットワークからx_hatをクエリしてビデオ出力とする。
• ベースラインと比較: neural implicit k-space (NIK), Fourier-feature MLP in k-space (KFMLP), and time-dependent DIP (t-DIP).
• 空間的特徴sx, syと時間的特徴st、およびランダムガウス埋め込みの座標スケールをハイパーパラメータで調整する。

実験結果

リサーチクエスチョン

• RQ1 Fourier-feature入力を持つ未訓練の暗黙的ネットワークは、極度にアンダーサンプリングされたデータから高品質な2Dリアルタイム心臓MRI再構成を提供できるか？
• RQ2 異なる解像度と取得長さに対して、FMLPは画像品質と計算コストの点でNIK、KFMLP、t-DIPとどう比較されるか？
• RQ3 空間と時間のFourier-feature埋め込みを別々にすることは、結合埋め込みより再構成のシャープさと細部を改善するか？
• RQ4 暗黙的表現に対する取得時間の増加が再構成品質に与える影響は何か？

主な発見

• FMLPはデータセット全体でt-DIPと同等またはわずかに上回る画質を達成し、SER指標でNIKおよびKFMLPを上回る。
• 取得時間が長くなるとFMLPとt-DIPのSERは改善する一方、NIKとKFMLPは限られた改善にとどまる。
• 3つの動作レジーム（低解像度/高解像度、SNRの変動）で、FMLPとt-DIPは同等の品質を提供する一方、KFMLPは性能が劣る。
• ベースラインと比較して、FMLPはよりシャープで心臓のディテール（例：乳頭筋）を忠実に再現し、エイリアシング/ノイズアーチファクトが少ない。
• FMLPは全座標グリッドを評価するため計算コストが高くなる。一方、NIK/KFMLPは測定座標のみをサンプリングするため訓練がより速い。