[論文レビュー] k-t NEXT: Dynamic MR Image Reconstruction Exploiting Spatio-temporal Correlations

Chen Qin, Jo Schlemper+5 more|arXiv (Cornell University)|Jul 22, 2019

Advanced MRI Techniques and Applications参考文献 18被引用数 4

ひとこと要約

本論文では、空間的・時間的相関を活用するため、画像領域とx-f（空間周波数）領域を繰り返し交互に切り替える深層学習ベースの動的MR画像再構成手法k-t NEXTを提案する。アーリアスドk-tデータからの再構成にxf-CNNを用い、時間的ダイナミクスをモデル化するためCRNNを統合することで、高歪み率において最先端の手法を上回る優れた画像品質を達成し、PSNRの向上が最大34.23 dBに達し、HFENは0.196まで低下する。

ABSTRACT

Dynamic magnetic resonance imaging (MRI) exhibits high correlations in k-space and time. In order to accelerate the dynamic MR imaging and to exploit k-t correlations from highly undersampled data, here we propose a novel deep learning based approach for dynamic MR image reconstruction, termed k-t NEXT (k-t NEtwork with X-f Transform). In particular, inspired by traditional methods such as k-t BLAST and k-t FOCUSS, we propose to reconstruct the true signals from aliased signals in x-f domain to exploit the spatio-temporal redundancies. Building on that, the proposed method then learns to recover the signals by alternating the reconstruction process between the x-f space and image space in an iterative fashion. This enables the network to effectively capture useful information and jointly exploit spatio-temporal correlations from both complementary domains. Experiments conducted on highly undersampled short-axis cardiac cine MRI scans demonstrate that our proposed method outperforms the current state-of-the-art dynamic MR reconstruction approaches both quantitatively and qualitatively.

研究の動機と目的

• 限られたk-t空間サンプリングにおける高加速動的MRI再構成の課題に対処すること。
• k-t空間および画像領域の両方における空間的・時間的冗長性を活用し、再構成の忠実度を向上させること。
• 各フレームを独立に扱うか、画像領域モデルのみに依存する既存の深層学習手法の限界を克服すること。
• x-f領域と画像領域を交互に切り替えることで、補完的な信号構造を捉える共同学習フレームワークを構築すること。
• 高歪み率下での動的心筋シンエMRI再構成において、最先端の性能を達成すること。

提案手法

• x-f領域と画像領域を交互に切り替える新しい反復的再構成フレームワークk-t NEXTを提案する。
• x-f領域でアーリアスドk-tデータから真の信号を再構成するために、xf-CNNを用い、スパarsityと冗長性を活用する。
• 画像領域における時間的依存性をモデル化するため、畳み込み再帰ニューラルネットワーク（CRNN）を統合する。
• 再構成を交互最適化プロセスとして定式化：x-f領域でxf-CNNの更新、画像領域でCRNNの更新を繰り返す。
• 残差学習を用いて画像更新を予測するように、エンドツーエンドで共同最適化によりネットワークを学習する。
• データ共有と残差接続を備えた3次元畳み込み層を導入し、CRNNモジュールにおける特徴抽出を強化する。

実験結果

リサーチクエスチョン

• RQ1 x-f領域と画像領域の両方における空間的・時間的相関の共同モデリングは、単一領域手法を上回る動的MRI再構成を実現できるか？
• RQ2 x-f領域と画像領域の間で反復的に入れ替える再構成は、エンドツーエンドの単一領域学習と比較して、画像品質をどのように向上させるか？
• RQ3 xf-CNNモジュールは、x-f領域で直接再構成することにより、アーリアスドアーティファクトをどの程度低減できるか？
• RQ4 k-t NEXTは、k-t FOCUSS、CRNN-MRI、DS+3DCNNといった最先端手法と比較して、高歪み率下で定量的・定性的にどの程度優れているか？
• RQ5 時間的平均化や補間に依存する手法と比較して、本手法は、細かな時間的・空間的詳細をよりよく保持できるか？

主な発見

• 9×歪み率下でk-t NEXTはPSNR 34.23 dBを達成し、次に優れた手法（DS+CRNN：33.24 dB）を顕著に上回る。
• 12×歪み率下でk-t NEXTはPSNR 33.18 dBを達成し、CRNN-MRI（31.30 dB）とDS+3DCNN（32.46 dB）を上回る。
• 9×歪み率下でHFEN値が0.196と最低を記録し、高周波数画像詳細の優れた保持を示す。
• 9×歪み率下でk-t NEXTのSSIM値は0.979に達し、すべてのベースラインを上回り、真値との高い構造的類似性を示す。
• 視覚的比較では、k-t NEXTはアーリアスドアーティファクトが少なく、特に左心室のような動的領域でよりシャープな画像を生成する。
• x-f領域の可視化により、アーリアスドアーティファクトが効果的に抑制されており、再構成済みのx-f画像が真値に近く一致していることが確認できる。