[論文レビュー] 3D Reconstruction in Canonical Co-ordinate Space from Arbitrarily Oriented 2D Images

Benjamin Hou, Bishesh Khanal+8 more|arXiv (Cornell University)|Sep 19, 2017

Fetal and Pediatric Neurological Disorders参考文献 35被引用数 9

ひとこと要約

本稿では、初期化を必要とせず、強度情報のみを用いて2次元MRIスライスを標準3次元アトラス空間に回帰する深層学習手法SVRnetを提案する。シミュレートされたデータ上で平均7 mmの空間誤差を達成し、胎児MRIにおける動き補正付き3次元再構成を最小限の手動介入で実現する。

ABSTRACT

Limited capture range, and the requirement to provide high quality initialization for optimization-based 2D/3D image registration methods, can significantly degrade the performance of 3D image reconstruction and motion compensation pipelines. Challenging clinical imaging scenarios, which contain significant subject motion such as fetal in-utero imaging, complicate the 3D image and volume reconstruction process. In this paper we present a learning based image registration method capable of predicting 3D rigid transformations of arbitrarily oriented 2D image slices, with respect to a learned canonical atlas co-ordinate system. Only image slice intensity information is used to perform registration and canonical alignment, no spatial transform initialization is required. To find image transformations we utilize a Convolutional Neural Network (CNN) architecture to learn the regression function capable of mapping 2D image slices to a 3D canonical atlas space. We extensively evaluate the effectiveness of our approach quantitatively on simulated Magnetic Resonance Imaging (MRI), fetal brain imagery with synthetic motion and further demonstrate qualitative results on real fetal MRI data where our method is integrated into a full reconstruction and motion compensation pipeline. Our learning based registration achieves an average spatial prediction error of 7 mm on simulated data and produces qualitatively improved reconstructions for heavily moving fetuses with gestational ages of approximately 20 weeks. Our model provides a general and computationally efficient solution to the 2D/3D registration initialization problem and is suitable for real-time scenarios.

研究の動機と目的

• 動きの影響を受けるスキャン、特に胎児MRIにおいて、2次元/3次元画像登録の捕らえの範囲が狭く、初期化に敏感であるという課題に対処する。
• 手動による特徴点マッチングや粗い初期化を排除し、2次元スライスから標準3次元空間への直接回帰を学習する。
• 胎児画像のような、非常に動きの影響を受ける2次元取得データから、3次元ボリュームをロバストに再構成することを可能にする。
• ベイジアン深層学習を用いた不確実性評価をサポートする計算効率が良く、リアルタイム対応可能なスライスからボリューム登録のソリューションを提供する。
• 画像強度から直接剛体変換を予測することで、動き補正パイプラインの完全自動化を実現する。

提案手法

• 2次元MRIスライスの標準アトラス座標系に対する3次元剛体変換（回転と並進）を予測する3次元畳み込みニューラルネットワーク（CNN）を訓練する。
• 回帰のためのEuler角パラメータライゼーションを採用し、離散分類と比較して、より効率的な学習とクラスの不均衡の低減を実現する。
• 合成された動きシミュレーションから得られるアンカーポイントラベルを用いて、主にユークリッド距離を損失関数として使用して回帰を実行する。
• Lie群幾何学（SE(3)）を活用して、予測値と真値の変換間の測地線距離を計算し、正確な不確実性推定を可能にする。
• モンテカルロドロップアウトとベイジアン推論を適用して、剛体変換の予測不確実性を評価し、その後続のロバスト性を向上させる。
• VGGNet、GoogLeNetなどの複数のアーキテクチャを評価し、GoogLeNetはVGGNetと同等の精度を達成しながら、学習時間が50%短く、メモリ使用量が85%低減される。

実験結果

リサーチクエスチョン

• RQ1 初期化を一切行わず、任意の方向を向いた2次元MRIスライスの標準アトラスに対する3次元剛体変換を、深層学習モデルが予測できるか。
• RQ2 変換パラメータライゼーションの選択（例：Euler角 vs. 離散クラス）が、回帰精度および学習安定性に与える影響は何か。
• RQ3 本モデルは、大きな動きアーチファクトを含む胎児MRIのような、極めて動きの影響を受けるデータにどの程度一般化できるか。
• RQ4 モデルが生成する不確実性推定値は、特にずれが大きいまたは外れ値のスライスを含む場合に、後続の再構成パイプラインにおけるロバスト性を向上させられるか。
• RQ5 従来の最適化ベースのスライスからボリューム登録手法と比較して、本モデルの精度および計算効率はどの程度か。

主な発見

• SVRnetは、合成された動きを含むシミュレートされたMRIデータにおいて、平均7 mmの空間予測誤差を達成し、複雑な動きパターンへの優れた一般化性能を示した。
• 本モデルは、20週前後の胎児MRIスキャンにおいて、深刻な動きの影響を受けても、定性的に改善された3次元再構成を実現した。
• GoogLeNetはVGGNetと同等の回帰精度を達成しているが、学習時間が50%短く、メモリ使用量が85%低減されており、反復的実験に適している。
• SE(3) Lie群上の測地線距離の使用により、ユークリッド距離と比較して、変換予測誤差の評価がより正確になった。
• モンテカルロドロップアウトを用いたベイジアン推論により、変換予測の不確実性評価が可能となり、再構成パイプラインにおける外れ値のロバストな除外が可能になった。
• 本手法により、手動による前処理や初期化への依存が低減され、胎児の体内イメージングのような困難な臨床状況における、動き補正付き3次元再構成の完全自動化が実現された。