[論文レビュー] Joint Frequency and Image Space Learning for MRI Reconstruction and Analysis

Nalini Singh, Juan Eugenio Iglesias+3 more|arXiv (Cornell University)|Jul 2, 2020

Medical Imaging Techniques and Applications被引用数 4

ひとこと要約

本論文は、磁気共鳴画像法（MRI）再構成のための新規ニューラルネットワーク層を提案し、周波数領域と空間領域の表現を明示的に組み合わせることで、周波数空間と画像空間の両方での共同学習を実現する。1つのアーキテクチャ内で両領域を統合することにより、アンダーサンプリング、動き、ノイズに起因するアーティファクトのエンドツーエンド補正が可能となり、従来のディープラーニング手法と比較して訓練時間は90％削減され、優れた画像品質が達成された。

ABSTRACT

We propose neural network layers that explicitly combine frequency and image feature representations and show that they can be used as a versatile building block for reconstruction from frequency space data. Our work is motivated by the challenges arising in MRI acquisition where the signal is a corrupted Fourier transform of the desired image. The proposed joint learning schemes enable both correction of artifacts native to the frequency space and manipulation of image space representations to reconstruct coherent image structures at every layer of the network. This is in contrast to most current deep learning approaches for image reconstruction that treat frequency and image space features separately and often operate exclusively in one of the two spaces. We demonstrate the advantages of joint convolutional learning for a variety of tasks, including motion correction, denoising, reconstruction from undersampled acquisitions, and combined undersampling and motion correction on simulated and real world multicoil MRI data. The joint models produce consistently high quality output images across all tasks and datasets. When integrated into a state of the art unrolled optimization network with physics-inspired data consistency constraints for undersampled reconstruction, the proposed architectures significantly improve the optimization landscape, which yields an order of magnitude reduction of training time. This result suggests that joint representations are particularly well suited for MRI signals in deep learning networks. Our code and pretrained models are publicly available at https://github.com/nalinimsingh/interlacer.

研究の動機と目的

• MRI再構成において周波数領域と画像領域を別々に処理する従来のディープラーニング手法の限界を解決すること。
• 局所的な周波数領域の破損が再構成画像に与えるグローバルな影響を、両領域を統合してモデル化することで克服すること。
• アンダーサンプリングMRI再構成に用いられるアンロールド最適化ネットワークの訓練安定性と収束性を向上させること。
• 統合された表現学習により、動き、ノイズ、アンダーサンプリングアーティファクトを直接補正できること。
• 共同表現が、従来の単一領域アプローチと比較して、より高品質な再構成と高速な訓練を実現することを実証すること。

提案手法

• 周波数領域と画像領域の両方で畳み込み操作を実行する新しいニューラルネットワーク層を導入し、両領域間の構造的関係を保持すること。
• 実数値のMRI画像の性質を反映するように、周波数領域での共役対称性を維持するように層を設計すること。
• アンダーサンプリングMRI再構成のため、物理的根拠に基づくデータ整合性制約を組み込んだアンロールド最適化フレームワークに、この共同層を統合すること。
• 周波数領域と画像領域の両方の操作に共通のパラメータ化を適用し、アーティファクト補正のエンドツーエンド学習を可能にすること。
• MoDLスタイルのアーキテクチャに共同層を適用し、標準的な画像領域畳み込みの代わりに使用することで、訓練ダイナミクスを改善すること。
• 周波数領域の損失と、SSIMやL2損失などの画像領域指標を組み合わせて、ネットワークを訓練すること。

実験結果

リサーチクエスチョン

• RQ1 周波数領域と画像領域の両方での共同学習は、単一領域のディープラーニング手法と比較して、MRI再構成の品質を向上させることができるか？
• RQ2 共同表現学習は、アンロールド最適化ネットワークにおける訓練安定性と収束時間にどのように影響を与えるか？
• RQ3 共同層は、アンダーサンプリング、動き、ノイズの3種類のMRIアーティファクトを同時に補正できるか、その程度はどの程度か？
• RQ4 MoDLアーキテクチャに共同層を統合することで、事前学習の必要がなくなり、訓練時間はどの程度短縮されるか？
• RQ5 周波数領域の破損によって引き起こされるグローバルなアーティファクトを補正する際、共同層は局所的な画像構造を保持または強化できるか？

主な発見

• 共同学習アーキテクチャは、模擬的および実際のマルチコイルMRIデータを用いた、動き補正、ノイズ除去、アンダーサンプリング再構成という多様なタスクにおいて、一貫して高品質な再構成を達成した。
• MoDLネットワークに統合した結果、事前学習を伴う31時間の総訓練時間を、わずか4時間にまで短縮し、8.5倍の高速化を達成した。
• 共同層を用いたネットワークは、事前学習を必要とせず、K=5の条件下で検証SSIM ≥ 0.98を達成したが、画像領域畳み込みのみを用いたネットワークは、事前初期化なしではK=5で収束しなかった。
• 特に、過酷なアンダーサンプリングや動きの影響を受ける状況において、単一領域ネットワークと比較して、共同モデルはよりシャープでぼやけの少ない再構成を生成した。
• 共同層により最適化の流れが著しく改善され、複雑で悪条件な状況下でも、高速な収束と安定した訓練が可能になった。
• 本手法は、極端なアンダーサンプリング、動き、ノイズといった多様なMRI取得課題に対して、すべての評価条件下で、既存の最先端手法を上回る頑健性を示した。