[論文レビュー] Predicting Slice-to-Volume Transformation in Presence of Arbitrary Subject Motion

Benjamin Hou, Amir Alansary+7 more|arXiv (Cornell University)|Feb 28, 2017

Fetal and Pediatric Neurological Disorders参考文献 13被引用数 5

ひとこと要約

本論文では、2次元MRIおよびCTスライスからの3次元スライス・トゥ・ボリューム変換を予測する深層学習ベースの回帰手法を提案する。この手法は、強度ベースの2次元／3次元登錻に正確な初期化を提供する。シミュレーテッド脳MRIにおいて平均予測誤差は7mmであり、重度の運動アーチファクトがある状況下でも高品質な胎児MRI再構成を可能にする。1スライスあたりの推論時間は10ms未満である。

ABSTRACT

This paper aims to solve a fundamental problem in intensity-based 2D/3D registration, which concerns the limited capture range and need for very good initialization of state-of-the-art image registration methods. We propose a regression approach that learns to predict rotation and translations of arbitrary 2D image slices from 3D volumes, with respect to a learned canonical atlas co-ordinate system. To this end, we utilize Convolutional Neural Networks (CNNs) to learn the highly complex regression function that maps 2D image slices into their correct position and orientation in 3D space. Our approach is attractive in challenging imaging scenarios, where significant subject motion complicates reconstruction performance of 3D volumes from 2D slice data. We extensively evaluate the effectiveness of our approach quantitatively on simulated MRI brain data with extreme random motion. We further demonstrate qualitative results on fetal MRI where our method is integrated into a full reconstruction and motion compensation pipeline. With our CNN regression approach we obtain an average prediction error of 7mm on simulated data, and convincing reconstruction quality of images of very young fetuses where previous methods fail. We further discuss applications to Computed Tomography and X-ray projections. Our approach is a general solution to the 2D/3D initialization problem. It is computationally efficient, with prediction times per slice of a few milliseconds, making it suitable for real-time scenarios.

研究の動機と目的

• 最先端の強度ベースの2次元／3次元登錻手法におけるキャプチャレンジの制限と初期化感度の低さを解決すること。
• 特に胎児MRIのような困難な臨床状況において、任意の被検者運動が存在する状況下でも、自動的かつリアルタイムに2次元／3次元登錻を初期化できること。
• 手動またはランドマークベースの初期化に依存しない、一般化可能で計算効率の良いスライス・トゥ・ボリューム登錻のソリューションを提供すること。
• デジタル再構成レントゲン（DRR）の変換を予測することで、X線／CT登錻への適用可能性を拡張すること。
• 臓器特異的微調整なしに、成人脳、胸部、病理的CTスキャンなど多様な画像状況で堅牢な性能を示すことを実証すること。

提案手法

• 2次元スライスの剛体変換パラメータ（回転および並進）を、標準アトラス座標系に対して予測するCNN回帰モデル、SVRNetを構築する。
• Fibonacci球サンプリングを用いて3次元ボリュームから抽出した合成2次元スライスを用いて、多様な方向と位置を生成する。
• 入力スライスは正規化され、強度レンジ、間隔、並進オフセットが一貫するように前処理され、トレーニング分布に一致するようにする。
• 予測された変換は、その後の強度ベースの2次元／3次元登錻（SVR）の初期化に使用され、収束性と正確性が向上する。
• 投影画像への一般化のため、2次元X線に類似した投影からDRR（デジタル再構成レントゲン）変換を予測する。
• トレーニングには、60例の成人胸部CTスキャンの大型データセットを用い、うち51例をトレーニング、9例を検証に使用。病理的ボリュームを含め、耐性評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 極端な運動下でも、強度情報のみで2次元MRIスライスの3次元空間的変換を深層学習モデルが正確に予測できるか？
• RQ2 提案されたCNNベースの回帰アプローチは、従来手法と比較して2次元／3次元登錻のキャプチャレンジと耐性を顕著に向上させるか？
• RQ3 モality特異的再トレーニングなしに、低線量CTおよびX線／CT登錻に効果的に適用可能か？
• RQ4 標準的手法が失敗する状況下で、重度の運動アーチファクトを含む胎児MRIの再構成において、本手法はどの程度の性能を示すか？
• RQ5 本モデルは、異なる解剖的領域や画像プロトコル間でどの程度一般化可能か？

主な発見

• 極端なランダム運動を伴う成人脳ホモトープから抽出したシミュレーテッド2次元MRIスライスにおいて、平均予測誤差は7mmであった。
• 胎児MRIデータにおいて、運動アーチファクトにより標準的なスライス・トゥ・ボリューム登錻が失敗する状況下でも、本手法により高品質な3次元再構成が可能であった。
• 低線量胸部CTにおいて、本手法を用い、その後のSVRの微調整を施した場合、再構成ボリュームのPSNRは28dBに達した。
• 2次元投影からDRR変換を予測した場合、健常者では平均並進誤差106mm、回転誤差5.6°、病理的症例では130mmおよび7.0°の誤差を示した。
• 予測推論時間は1スライスあたり10ms未満であり、臨床ワークフローにおけるリアルタイム実装が可能であった。
• 本手法は、モダリティや臓器に特異的でない微調整なしに、トレーニング後も良好な一般化性能を示した。