[論文レビュー] Joint Frequency- and Image-Space Learning for Fourier Imaging.

Nalini Singh, Juan Eugenio Iglesias+3 more|arXiv (Cornell University)|Jul 2, 2020

Advanced MRI Techniques and Applications参考文献 46被引用数 7

ひとこと要約

本論文は、MRIにおけるフォーリエ画像再構成の性能を向上させるために、周波数空間および画像空間の両表現から同時に学習する新規なニューラルネットワーク層を提案する。k空間におけるアーティファクト補正と画像空間における構造的精緻化を統合することで、アンダーサンプリング、モーション補正、ノイズ除去の各タスクにおいて、優れた一貫性のある画像品質を達成し、純粋に周波数空間または画像空間に依存するディープラーニング手法を上回る性能を発揮する。

ABSTRACT

We propose a neural network layer structure that combines frequency and image feature representations for robust Fourier image reconstruction. Our work is motivated by the challenges in magnetic resonance imaging (MRI) where the acquired signal is a corrupted Fourier transform of the desired image. The proposed layer structure enables both correction of artifacts native to the frequency-space and manipulation of image-space representations to reconstruct coherent image structures. This is in contrast to the current deep learning approaches for image reconstruction that manipulate data solely in the frequency-space or solely in the image-space. We demonstrate the advantages of the proposed joint learning on three diverse tasks including image reconstruction from undersampled acquisitions, motion correction, and image denoising in brain MRI. Unlike purely image based and purely frequency based architectures, the proposed joint model produces consistently high quality output images. The resulting joint frequency- and image-space feature representations promise to significantly improve modeling and reconstruction of images acquired in the frequency-space. Our code is available at this https URL.

研究の動機と目的

• MRI再構成において、周波数空間または画像空間に限定して動作する現在のディープラーニング手法の限界を解消すること。
• k空間および画像空間の両方で特徴を統合的にモデリングすることで、画像再構成品質を向上させること。
• 周波数空間データに内在するアーティファクトを是正しつつ、一貫性のある画像構造を保持すること。
• 両領域間のエンドツーエンド学習を可能にする統合型ニューラルネットワーク層を構築すること。

提案手法

• 周波数空間（k空間）および画像空間表現からの特徴を処理・統合する新規なニューラルネットワーク層を導入する。
• 並列にk空間および画像空間の両方で特徴を抽出・精緻化する二重ブランチアーキテクチャを採用する。
• k空間におけるアーティファクト補正と画像空間における構造的整合性の向上を実現するため、学習可能な変換を適用する。
• 両ブランチからの特徴を統合するための共有表現ヘッドを用い、共同最適化を実現する。
• 画像再構成品質に特化した教師あり損失関数を用いて、エンドツーエンドでモデルを学習する。
• 統合された表現を活用することで、多様なMRI再構成タスクにおけるロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 周波数空間および画像空間における統合学習は、単一領域に依存するアプローチを上回るMRI再構成品質を実現できるか？
• RQ2 本手法は、純粋に周波数空間または画像空間に依存するモデルと比較して、アンダーサンプリングMRI再構成においてどのように性能を発揮するか？
• RQ3 本手法は、脳MRIにおけるモーションアーティファクトおよびノイズをどの程度効果的に補正できるか？
• RQ4 k空間および画像空間の特徴統合により、より一貫性があり、構造的に整合性のある画像出力を得られるか？
• RQ5 提案された層は、アーキテクチャの再設計を伴わずに、複数のMRI再構成タスクに一般化可能か？

主な発見

• 提案された統合モデルは、評価されたすべてのタスクにおいて、純粋に周波数空間に依存するか、画像空間に依存するディープラーニングモデルよりも一貫して高い品質の画像再構成を達成する。
• アンダーサンプリングk空間データからの画像再構成において優れた性能を発揮し、アーティファクトを低減するとともに、微細構造を良好に保持する。
• k空間の不整合性と画像空間の整合性を統合的にモデリングすることで、モーション補正性能が顕著に向上する。
• ノイズ除去の結果、脳MRIにおいて解剖学的詳細を保持したまま、ノイズを効果的に抑制できる。
• 統合された特徴表現により、多様な臨床的状況においてよりロバストで安定した再構成が実現される。