[論文レビュー] Rethinking Medical Image Reconstruction via Shape Prior, Going Deeper and Faster: Deep Joint Indirect Registration and Reconstruction

Jiulong Liu, Angelica I. Avilés-Rivero+2 more|arXiv (Cornell University)|Dec 16, 2019

Advanced MRI Techniques and Applications参考文献 35被引用数 4

ひとこと要約

本論文は、学習された微分同相登録と物理ベースの逆問題解法を統合することで、アンダーサンプリングされノイズの多い医用画像データから、同時に間接的画像登録と再構成を実行する画期的な深層共同フレームワークを提案する。深層残差ブロックと固定点最適化を用いて再構成と登録を1つの微分可能モデルに統合することで、MRI、スパarsely-viewed CT、低線量CTの全分野で、先行手法よりも66%以上高速な計算速度を達成しながら、最先端の画像品質を実現した。

ABSTRACT

Indirect image registration is a promising technique to improve image reconstruction quality by providing a shape prior for the reconstruction task. In this paper, we propose a novel hybrid method that seeks to reconstruct high quality images from few measurements whilst requiring low computational cost. With this purpose, our framework intertwines indirect registration and reconstruction tasks is a single functional. It is based on two major novelties. Firstly, we introduce a model based on deep nets to solve the indirect registration problem, in which the inversion and registration mappings are recurrently connected through a fixed-point interaction based sparse optimisation. Secondly, we introduce specific inversion blocks, that use the explicit physical forward operator, to map the acquired measurements to the image reconstruction. We also introduce registration blocks based deep nets to predict the registration parameters and warp transformation accurately and efficiently. We demonstrate, through extensive numerical and visual experiments, that our framework outperforms significantly classic reconstruction schemes and other bi-task method; this in terms of both image quality and computational time. Finally, we show generalisation capabilities of our approach by demonstrating their performance on fast Magnetic Resonance Imaging (MRI), sparse view computed tomography (CT) and low dose CT with measurements much below the Nyquist limit.

研究の動機と目的

• 特に長時間撮影を要するMRIにおいて、高密度にアンダーサンプリングされノイズの強い測定値から高品質な医用画像を再構成する課題に対処すること。
• 分離された再構成と登録パイプラインの限界を克服し、両タスクを同時に最適化することで誤差伝搬を低減し一般化性能を向上させること。
• 深層学習による登録と再構成を活用しつつ物理的前進モデルを尊重することで、高精度な画像再構成を実現する計算効率の高い手法を開発すること。
• MRI、高速MRI、スパarsely-Viewed CT、低線量CTなど多様な画像モダリティに一般化できることを実証し、Nyquist制限をはるかに下回る測定値でも有効であることを示すこと。
• モデルベース正則化（LDDMM）と深層学習を統合したハイブリッドモデルを導入し、再構成精度と速度の両立を実現すること。

提案手法

• 再構成と間接的画像登録の両方を1つの関数的で統一した最適化問題を定式化し、両タスク間でパラメータを共有する。
• 物理的前進演算子（例：フーリエ変換、ラドン変換）を明示的に組み込んだ専用の逆問題ブロックを備えた深層残差ネットワークを設計し、測定値から画像推定値へのマッピングを実現する。
• 深層ネットワークに基づく登録ブロックを実装し、変形パラメータとワープフィールドを正確かつ効率的に予測することで、エンドツーエンドの微分可能性を実現する。
• スパース最適化に基づく固定点反復スキームを用い、再帰的接続により逆問題マッピングと登録マッピングを結合し、安定的かつ微分可能な最適化を確保する。
• データ整合性、LDDMMによる正則化、再構成忠実度を組み合わせた微分可能な損失関数を用いて、ネットワーク全体をエンドツーエンドで訓練する。
• 登録済みテンプレート画像からの形状事前分布を再構成プロセスに統合し、解剖学的正確性を向上させ、アーチファクトを低減する。

実験結果

リサーチクエスチョン

• RQ1 再構成と同時に最適化される間接的画像登録は、アンダーサンプリングされた医用画像において、顕著に画像品質を向上させることができるか？
• RQ2 深層学習をモデルベース登録（LDDMM）と効果的に統合することで、高精度な再構成と低コストな計算を両立できるか？
• RQ3 分離された再構成と登録パイプラインに比べ、統合された深層学習フレームワークは、画像品質および推論速度の面で優れているか？
• RQ4 本手法は、MRIやCTなどの異なる画像モダリティ、およびカルテシアンやラジアルなどの異なるサンプリングパターンにおいて、どの程度一般化可能か？
• RQ5 深層ネットワーク内に物理的前進モデルを統合することで、低信号領域における再構成のロバスト性が向上し、アーチファクトが低減できるか？

主な発見

• 本手法は、MRIおよびCTデータセットの両方で、比較対象の全手法と比べて最高のPSNRおよびSSIMスコアを達成し、古典的手法のTV + LDDMMや先行の最先端手法を著しく上回るPSNR向上を示した。
• すべてのデータセットおよびサンプリングパターンにおいて、再構成誤差が一貫して最小であり、微細なディテール、エッジ、テクスチャの保持が優れていた。
• 古典的手法のTV + LDDMMおよびChenらの手法[39]と比較して、66%以上の計算時間短縮を達成しながら、画像品質を維持または向上させた。
• 視覚的結果から、本手法の再構成画像は解剖学的構造を保持しており、ブラーとコントラスト損失を引き起こさないのに対し、ベースライン手法は顕著なアーチファクトを生じていることが確認された。
• 図8の予測された運動量フィールドは、真値と正確に一致しており、複雑な変形を的確に捉えられる深層登録ブロックの有効性が裏付けられた。
• 高速MRI、スパarsely-Viewed CT、低線量CTの複数モダリティにわたる一般化が検証され、低サンプリングレートや多様な取得パターンに対してもロバストであることが示された。