[論文レビュー] Fetal Pose Estimation in Volumetric MRI using a 3D Convolution Neural Network

Junshen Xu, Molin Zhang+6 more|arXiv (Cornell University)|Jul 10, 2019

Fetal and Pediatric Neurological Disorders参考文献 6被引用数 6

ひとこと要約

本論文では、ボリュメトリックなMRIにおける胎児姿勢推定のための2段階の3次元畳み込みニューラルネットワークフレームワークを提案する。ヒートマップ予測の後にマルコフ連鎖場（MRF）を用いた精錬を施すことで、精度が向上する。本手法は平均誤差4.47 mm、誤差10 mm未満の正答率96.4％を達成し、1ボリュームあたり1秒未塔のエンドツーエンド推論時間を実現し、臨床的MRIにおける胎児運動のリアルタイム追跡を可能にする。

ABSTRACT

The performance and diagnostic utility of magnetic resonance imaging (MRI) in pregnancy is fundamentally constrained by fetal motion. Motion of the fetus, which is unpredictable and rapid on the scale of conventional imaging times, limits the set of viable acquisition techniques to single-shot imaging with severe compromises in signal-to-noise ratio and diagnostic contrast, and frequently results in unacceptable image quality. Surprisingly little is known about the characteristics of fetal motion during MRI and here we propose and demonstrate methods that exploit a growing repository of MRI observations of the gravid abdomen that are acquired at low spatial resolution but relatively high temporal resolution and over long durations (10-30 minutes). We estimate fetal pose per frame in MRI volumes of the pregnant abdomen via deep learning algorithms that detect key fetal landmarks. Evaluation of the proposed method shows that our framework achieves quantitatively an average error of 4.47 mm and 96.4\% accuracy (with error less than 10 mm). Fetal pose estimation in MRI time series yields novel means of quantifying fetal movements in health and disease, and enables the learning of kinematic models that may enhance prospective mitigation of fetal motion artifacts during MRI acquisition.

研究の動機と目的

• 胎児MRIにおける運動アーチファクトが画像品質と診断的有用性を制限するという重要な課題に対処すること。
• 低解像度で高時間分解能を持つ3次元MRI時間系列から、自動的かつリアルタイムに胎児姿勢を推定する手法を開発すること。
• 手動ラベル付けや従来の運動追跡の限界を克服し、キーポイント検出に深層学習を活用すること。
• 正確で高速な姿勢推定を通じて、胎児MRIにおける前向きの運動補正と運動学的モデリングを可能にすること。
• 希少な正解ラベルを伴うボリュメトリック医療画像における3次元姿勢推定に深層学習を適用する可能性を示すこと。

提案手法

• 2段階のフレームワークを提案：まず、3次元アワークラス畳み込みニューラルネットワークが、入力MRIボリュームから15個の胎児キーポイント位置の3次元ヒートマップを生成する。
• エンコーダ・デコーダアーキテクチャを採用し、要素ごとの和算によるスキップ接続を用いてスケール間の空間的および特徴情報の保持を図る。
• 2段階目では、マルコフ連鎖場（MRF）モデルが、関節間の解剖学的に妥当な空間的関係を強制することでキーポイント予測を精錬する。
• MRFはヒートマップの曖昧さを解消するための推論を実行し、誤検出を低減し、局所化精度を向上させる。
• 本手法は、70名の妊婦から得られた18,000ボリュームのEPIデータセットを用いて学習され、キーポイントラベルは視覚的検査によるものである。
• エンドツーエンド推論は1ボリュームあたり1秒未塔であり、CNNはGPUで225 ms、MRF最適化はCPUで290 msを要する。

実験結果

リサーチクエスチョン

• RQ1 低解像度で高時間分解能を持つMRI時間系列において、深層学習を3次元胎児姿勢推定に効果的に適用できるか？
• RQ2 マーティン連鎖場（MRF）を用いて解剖学的制約を組み込むことで、ヒートマップピーク検出に比べてキーポイント局所化精度がどのように向上するか？
• RQ3 3次元CNNベースの姿勢推定パイプラインは、胎児MRIにおいてどの程度の精度と計算効率を達成できるか？
• RQ4 本フレームワークは、臨床的胎児MRI撮影中にリアルタイムで低遅延の姿勢追跡をサポートできるか？
• RQ5 限られた正解ラベルを伴う状況下でも、本手法は異なる胎児の姿勢や妊娠期間にわたって一般化可能か？

主な発見

• 提案手法は、全15個の胎児ランドマークにおける予測位置と真値との間で平均誤差4.47 mmを達成した。
• 予測キーポイントの96.4％が真値から10 mm以内に位置しており、高い耐障害性と正確性を示している。
• 3次元アワークラスネットワークは、2200万パラメータを有する3次元U-Netに比べ、パラメータ効率が高く、350万パラメータで同等の性能を維持した。
• MRF精錬段階により、解剖学的に接続された関節間の整合性が向上し、ヒートマップピークからの誤った予測が是正された。
• エンドツーエンド処理時間は1ボリュームあたり1秒未塔であり、MRI撮影中のリアルタイム姿勢追跡が可能になった。
• 本手法は、単胎妊娠のデータのみで学習されたものの、前向きの運動補正と運動学的モデリングの実現可能性を示した。