[論文レビュー] Physics-Driven Deep Learning for Computational Magnetic Resonance Imaging

Kerstin Hammernik, Thomas Küstner+5 more|arXiv (Cornell University)|Mar 23, 2022

Advanced MRI Techniques and Applications被引用数 4

ひとこと要約

本稿は、計算的磁気共鳴画像法（MRI）における物理に基づくディープラーニング手法について包括的なレビューを提供している。MRI信号形成の物理モデルをニューラルネットワークに統合することで、画像再構成の精度を向上させている。損失関数、アンロールドネットワーク、プラグアンドプレイフレームワーク、生成モデルに物理を埋め込むことで、加速MRIおよびマルチコントラストMRIにおける線形および非線形逆問題の分野で最先端の再構成精度を達成している。

ABSTRACT

Physics-driven deep learning methods have emerged as a powerful tool for computational magnetic resonance imaging (MRI) problems, pushing reconstruction performance to new limits. This article provides an overview of the recent developments in incorporating physics information into learning-based MRI reconstruction. We consider inverse problems with both linear and non-linear forward models for computational MRI, and review the classical approaches for solving these. We then focus on physics-driven deep learning approaches, covering physics-driven loss functions, plug-and-play methods, generative models, and unrolled networks. We highlight domain-specific challenges such as real- and complex-valued building blocks of neural networks, and translational applications in MRI with linear and non-linear forward models. Finally, we discuss common issues and open challenges, and draw connections to the importance of physics-driven learning when combined with other downstream tasks in the medical imaging pipeline.

研究の動機と目的

• MRI信号形成の物理的知識を統合することで、純粋にデータ駆動型のディープラーニングの限界を克服すること。
• 物理を学習ベースのフレームワークに埋め込むことで、加速MRIおよび非カルテジアンMRIにおける画像再構成性能を向上させること。
• 共有表現を通じて画像再構成と下流タスク（例：セグメンテーション、モーショングラシティ補正）の共同最適化を可能にすること。
• 複雑な実数値およびマルチコイルMRIシステムへの物理に基づく学習の適用における主な課題を特定すること。
• 臨床応用を実現するための物理ベースのモデリングとディープラーニングのギャップを埋めること。

提案手法

• Bloッチ方程式からの物理ベースの前方モデルを用い、T1、T2、オフレゾンランス、モーショングラシティ、拡散効果を符号化する明示的信号モデル M(ρ(r),ϑ,t,r) をディープラーニングに統合する。
• 前方演算子 E を通じて予測画像と k 空間測定値の整合性を強制する物理に基づく損失関数を用いる。E は y = E x + n として定義される。
• 反復的再構成ステップ（例：データ整合性およびノイズ除去）をディープネットワークのレイヤーとしてモデル化するアンロールド最適化ネットワークを採用する。
• ノイズ除去ステップを事前学習済みネットワークに置き換えつつ、データ整合性レイヤーで物理的制約を保持するプラグアンドプレイ手法を適用する。
• 生成モデルおよびオートエナコーダーを用いて、潜在空間での物理的制約を尊重しながらデータから事前分布を学習する。
• 実数値MRIデータおよび動的撮影処理を扱うために、複素数値ニューラルネットワークおよび空間時間的モデリングといったドメイン固有のコンponentsを統合する。

実験結果

リサーチクエスチョン

• RQ1 物理に基づく信号モデルをどのように効果的にディープラーニングアーキテクチャに統合することで、MRI再構成を向上させられるか？
• RQ2 加速MRIおよび非カルテジアンMRIにおいて、物理に基づくディープラーニングが純粋にデータ駆動型手法を上回る性能向上はどの程度達成されるか？
• RQ3 物理に基づく学習を、セグメンテーションやモーショングラシティ補正などの下流タスクと共同再構成にどのように拡張できるか？
• RQ4 複雑な実数値およびマルチコイルMRIシステムへの物理に基づく学習の適用における主な課題は何か？
• RQ5 物理に基づくモデルは、医療画像処理パイプラインにおける一般化性および臨床応用を向上させることができるか？

主な発見

• 物理に基づくディープラーニング手法は、物理的整合性を強制することで、アンダーサンプリングおよび加速MRIデータの再構成において、純粋にデータ駆動型アプローチを著しく上回っている。
• 物理に基づくデータ整合性レイヤーを備えたアンロールドネットワークは、非カルテジアンおよびマルチコイル撮影において、最先端の再構成品質を達成している。
• 共有エンコーダーを用いた再構成とセグメンテーションネットワークの共同学習は、連続的学習に比べてセグメンテーション精度を向上させた。UK BiobankおよびMRBrainSデータセットでの実証が行われた。
• 損失関数に解剖学的形状事前分布やモーショングラシティフィールドといったドメイン知識を組み込むことで、弱教師ありまたは半教師あり学習環境下でも耐性が向上する。
• データ整合性レイヤーで物理的制約を保持するプラグアンドプレイフレームワークは、事前学習済みノイズ除去器の柔軟な統合を可能にしながら、画像品質を維持している。
• 物理をディープラーニングに統合することで、一般化性が向上し、k 空間データから直接セグメンテーションなどの下流タスクをエンドツーエンド最適化する可能性が開かれる。