[論文レビュー] Temporal Interpolation via Motion Field Prediction

Lin Zhang, Neerav Karani+2 more|arXiv (Cornell University)|Apr 12, 2018

Advanced MRI Techniques and Applications参考文献 28被引用数 10

ひとこと要約

本論文は、4次元MRI再構成における時間的補間のための、動き場予測に基づく畳み込みニューラルネットワーク（MFIN）を提案する。直接的な強度空間補間と比較して、画像の忠実度が向上する。学習された動き場を用いて画像の変化をモデル化することで、ベースライン手法よりも解剖学的構造をよりよく保持し、再構成時間を半減させ、14.06%（平均）のSSIMおよび0.37mm（平均）のリファレンス動き誤差を達成する。

ABSTRACT

Navigated 2D multi-slice dynamic Magnetic Resonance (MR) imaging enables high contrast 4D MR imaging during free breathing and provides in-vivo observations for treatment planning and guidance. Navigator slices are vital for retrospective stacking of 2D data slices in this method. However, they also prolong the acquisition sessions. Temporal interpolation of navigator slices an be used to reduce the number of navigator acquisitions without degrading specificity in stacking. In this work, we propose a convolutional neural network (CNN) based method for temporal interpolation via motion field prediction. The proposed formulation incorporates the prior knowledge that a motion field underlies changes in the image intensities over time. Previous approaches that interpolate directly in the intensity space are prone to produce blurry images or even remove structures in the images. Our method avoids such problems and faithfully preserves the information in the image. Further, an important advantage of our formulation is that it provides an unsupervised estimation of bi-directional motion fields. We show that these motion fields can be used to halve the number of registrations required during 4D reconstruction, thus substantially reducing the reconstruction time.

研究の動機と目的

• 自由呼吸下の4次元MRIにおけるナビゲーター取得時間を短縮すること。
• 直接的な強度空間補間の限界に対処すること。この方法はしばしばぼやけた画像や構造を失う画像を生成する。
• 動き場の事前知識を活用して補間の忠実度を向上させ、教師なしの動き推定を可能にすること。
• 4次元再構成における計算コストを低減させること。具体的には、必要な画像登録回数を半減させること。

提案手法

• 複数のナビゲーター画像を入力として、連続するナビゲーター断層間の動き場を予測するCNNベースの動き場補間ネットワーク（MFIN）を訓練する。
• ネットワークは複数のナビゲーター画像を入力とし、欠損フレームを補間するための双方向動き場を予測する。
• 予測された動き場を用いて隣接する画像を変形することで、補間画像を生成し、画像構造を保持する。
• 教師なしの動き推定を可能にするために、真値の動き場が不要な状態で、ナビゲーター画像のみを用いてエンドツーエンドに訓練する。
• 動き場を用いることで、4次元再構成における必要な登録回数を半減させる。
• L2とSSIMの2つの損失関数を評価し、SSIMベースの訓練が優れた構造保存を達成した。

実験結果

リサーチクエスチョン

• RQ1 直接的な強度空間補間と比較して、動き場予測は4次元MRIにおける時間的補間の忠実度を向上させるか？
• RQ2 動き場の事前知識を組み込むことで、構造のぼやけを低減し、補間画像における解剖学的詳細を保持できるか？
• RQ3 予測された動き場を用いて、4次元再構成における必要な画像登録回数を削減できるか？
• RQ4 構造的類似性と動き精度の観点から、MFINはベースラインCNN（SCIN）と比較して優れているか？
• RQ5 MFINによる教師なしの動き場推定は、下流の再構成に適した信頼性が高く一貫性のある動き場を生成できるか？

主な発見

• MFINc-SSIMは平均SSIMが79.87%を達成し、RMSEが高いために構造的類似性でSCIN-SSIM（82.72%）を上回ったが、これは構造的忠実度の向上を示している。
• MFINc-SSIMのRMSEは10.28（平均）であり、SCIN-SSIM（9.05）よりも高いが、これは構造的劣化ではなくノイズの伝搬を反映している。
• MFINc-SSIMは高動き状態下でも、肝臓および肺構造の保存が良好で、ぼやけた結果を生じるSCINとは対照的である。
• MFINcの動き場誤差（RefMotErrFl）は0.82 mm（平均）であり、正確な動き推定を示しており、ゴールドスタンダードの登録より明確な動き境界を有する。
• 本手法により、4次元再構成における必要な登録回数が50%削減され、計算コストが顕著に低減された。
• 定性的な比較において、MFINcは高動き状態（例：図4のケース2）でSCINを上回り、SCINが重要な解剖学的構造を逃すのに対し、MFINcは良好な性能を示した。