[論文レビュー] Complex Fully Convolutional Neural Networks for MR Image Reconstruction

Muneer Ahmad Dedmari, Sailesh Conjeti+4 more|arXiv (Cornell University)|Jul 9, 2018

Advanced MRI Techniques and Applications参考文献 11被引用数 8

ひとこと要約

本論文は、アンダーサンプリングされたMR画像を再構築するために、ネットワーク全体で複素数演算を活用する深層学習フレームワーク、複素数型密接続畳み込みニューラルネットワーク（ℂDFNet）を提案する。k-spaceデータを本質的に複素数としてモデル化し、専用の複素数畳み込み、バッチ正規化、活性化層を用いることで、ℂDFNetは実数型の対応手法を上回り、微細な解剖的構造や高周波数の詳細をよりよく回復する。最新の手法と比較して、Prattの図像適合度（FOM）で最大11.5%の向上を達成した。

ABSTRACT

Undersampling the k-space data is widely adopted for acceleration of Magnetic Resonance Imaging (MRI). Current deep learning based approaches for supervised learning of MRI image reconstruction employ real-valued operations and representations by treating complex valued k-space/spatial-space as real values. In this paper, we propose complex dense fully convolutional neural network ($\mathbb{C}$DFNet) for learning to de-alias the reconstruction artifacts within undersampled MRI images. We fashioned a densely-connected fully convolutional block tailored for complex-valued inputs by introducing dedicated layers such as complex convolution, batch normalization, non-linearities etc. $\mathbb{C}$DFNet leverages the inherently complex-valued nature of input k-space and learns richer representations. We demonstrate improved perceptual quality and recovery of anatomical structures through $\mathbb{C}$DFNet in contrast to its real-valued counterparts.

研究の動機と目的

• 実数型の深層学習モデルがk-spaceデータを独立した実部と虚部として扱うための限界を是正すること。
• MR k-spaceデータの内在的な複素数性を保ったまま、エンドツーエンドの完全な深層学習フレームワークを構築すること。
• 複素数型の密接ブロックを用いて特徴の伝搬と表現学習を強化することで、再構築品質を向上させること。
• さまざまな加速係数とアンダーサンプリングパターンに対して、本手法のロバストネスを評価すること。
• 複素数型ネットワークが実数型の代替手法よりも、微細な解剖的構造や高周波数テクスチャをよりよく回復できるかどうかを示すこと。

提案手法

• 複素数型完全畳み込みニューラルネットワーク（ℂDFNet）を提案し、複素数畳み込み演算を用いて複素数型k-spaceデータを直接処理する。
• 特徴の再利用と情報の流れを向上させるために、複素数畳み込み、複素数バッチ正規化、複素数ReLU活性化を組み合わせた複素数型密接ブロックアーキテクチャを導入する。
• 知覚的品質と構造的忠実度を向上させるために、平均二乗誤差と構造的類似性（SSIM）を組み合わせた複合損失関数を採用する。
• ネットワーク出力と取得されたアンダーサンプリング済みk-spaceデータとの整合性を強制するデータ整合性層（DCL）を統合する。
• 位相と振幅の関係を維持するために、ネットワーク全体で複素数演算を用い、複素数重み初期化と複素数活性化関数を採用する。
• 完全にスキャンされたMR画像を教師データとして用い、エンドツーエンドで学習することで、データから解剖的事前知識を学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの複素数型演算を用いた深層学習は、実数型ネットワークと比較してMRI再構築品質を向上させることができるか？
• RQ2 複素数型層の使用が、アンダーサンプリングされたMRIにおける微細な解剖的構造や高周波数の詳細の回復に与える影響は何か？
• RQ3 データ整合性層とSSIMに基づく損失関数が、再構築精度と知覚的品質の向上に果たす貢献は何か？
• RQ4 提案手法ℂDFNetは、さまざまな加速係数とアンダーサンプリングパターンに対してどれほどロバストであるか？
• RQ5 k-spaceを複素数的実体としてモデル化することで、実部と虚部を独立した実数成分として扱う場合と比較して、位相と振幅の関係がよりよく保存されるか？

主な発見

• 6×加速係数下で、状態のアートのDLMRI手法と比較して、Prattの図像適合度（FOM）で11.5%の向上を達成し、微細な解剖的詳細の回復が優れていることを示した。
• 4×加速係数下で、DLMRIと比較してFOMが12.5%向上し、構造的回復の面で一貫した向上を示した。
• データ整合性層（DCL）の導入により、全テスト条件で平均して6%以上のFOM向上が見られ、再構築精度の向上においてその重要性が顕著に示された。
• 複素数型密接ブロックアーキテクチャは、実数型対応手法（BL1）と比較して、6×加速係数下でFOMで5.7%の向上を示し、複素数型特徴学習の利点を裏付けた。
• ℂDFNetは、さまざまな加速係数に対して優れた一般化性能を示し、未学習のアンダーサンプリングパターンに対しても高い性能を維持した。
• 4×加速係数下で、MSEが5.54×10⁻⁴、SSIMが0.9269に達し、ゼロフィルド再構築とDLMRIの両方を定量的指標で上回った。