[論文レビュー] Metric-Driven Learning of Correspondence Weighting for 2-D/3-D Image Registration

Roman Schaffert, Jian Wang+3 more|arXiv (Cornell University)|Jun 20, 2018

Robotics and Sensor-Based Localization参考文献 12被引用数 5

ひとこと要約

本稿では、修正されたPointNetアーキテクチャを用いて、2D/3D画像のアライメントに最適な対応重みを学習する、メトリクス駆動のディープラーニング手法を提案する。点対平面の運動推定とアライメント誤差の計算を組み合わせた損失関数を用いてエンド・トゥ・エンドで学習することで、単一椎間接のアライメントにおいて0.74 ± 0.26 mmの精度、94.3%の成功率、13 mmのキャプチャレンジを達成し、対応する真値ラベルを必要としないベースライン手法よりも顕著にロバスト性が向上した。

ABSTRACT

Registration of pre-operative 3-D volumes to intra-operative 2-D X-ray images is important in minimally invasive medical procedures. Rigid registration can be performed by estimating a global rigid motion that optimizes the alignment of local correspondences. However, inaccurate correspondences challenge the registration performance. To minimize their influence, we estimate optimal weights for correspondences using PointNet. We train the network directly with the criterion to minimize the registration error. We propose an objective function which includes point-to-plane correspondence-based motion estimation and projection error computation, thereby enabling the learning of a weighting strategy that optimally fits the underlying formulation of the registration task in an end-to-end fashion. For single-vertebra registration, we achieve an accuracy of 0.74$\pm$0.26 mm and highly improved robustness. The success rate is increased from 79.3 % to 94.3 % and the capture range from 3 mm to 13 mm.

研究の動機と目的

• 外れ対応が存在する状況下でも、2D/3D剛体画像アライメントのロバスト性と精度を向上させること。
• 対応重み付けネットワークの学習に、個々の対応に対する真値ラベルを必要としないこと。
• グローバルなアライメント誤差を学習基準として用いて、対応重み付け戦略を直接最適化すること。
• 下位の点対平面対応（PPC）アライメント定式化と互換性を持つ、対応重みのエンド・トゥ・エンド学習を可能とすること。
• 画像内容の不一致や低品質な画像を伴う臨床的状況において、アライメントのキャプチャレンジと成功率を向上させること。

提案手法

• 局所的対応を、画像強度および幾何的性質から導出された特徴量を持つ点群として扱う。
• 修正されたPointNetアーキテクチャを用いて、対応間のグローバルな相関関係を学習し、個々の対応に対する重みを予測する。
• 訓練の目的関数は、点対平面の運動推定とアライメント誤差の計算を組み合わせており、重み付け戦略のエンド・トゥ・エンド最適化を可能にする。
• ネットワークは最終的なアライメント誤差を最小化するように学習され、運動推定および投影ステップを通過するバックプロパゲーションをサポートする微分可能定式化が用いられる。
• マルチスケールフレームワークを用いて単一椎間接の2D/3Dアライメントで評価され、性能はmRPD、成功率、キャプチャレンジで評価される。
• PPCアライメントパイプラインに統合され、PPC、PPC-R、PPC-Lなどのベースライン手法とのアブレーションおよび比較が実施される。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、個々の対応に対する真値ラベルを必要とせずに、2D/3Dアライメントの最適な対応重みを学習できるか？
• RQ2 アライメント誤差に基づく目的関数を用いたエンド・トゥ・エンド学習は、ヒューリスティックまたは反復的再重み付け手法と比較して、ロバスト性と精度を向上させるか？
• RQ3 PointNetベースのアーキテクチャは、局所的対応間のグローバルな依存関係を効果的にモデル化でき、アライメント性能の向上に寄与するか？
• RQ4 学習された重み付け戦略は、正則化に基づく運動推定と比較して、収束速度とロバスト性の面で優れているか？
• RQ5 本手法は、臨床的状況において挑戦的とされる画像の不一致や低品質な状況下でも、高い精度を維持しながらキャプチャレンジと成功率を顕著に向上させられるか？

主な発見

• 提案手法は、単一椎間接アライメントにおいて平均0.74 ± 0.26 mmの登録精度を達成し、高い精度を示した。
• 成功率はベースラインのPPC（79.3%）から94.3%に向上し、ロバスト性の顕著な向上が示された。
• キャプチャレンジは3 mmから13 mmに拡大され、初期ポーズ誤差が大きい場合でも信頼性のあるアライメントが可能になった。
• PPC-R（正則化）およびPPC-L（学習）ベースラインと比較して、成功率および収束効率の面で優れた性能を示した。
• PPC-L+は96.1%の成功率と19 mmのキャプチャレンジを達成し、平均7.6回の反復で収束した。これは、効率の向上を示している。
• モデルは、一貫性のある対応を効果的に特定し、外れ値を抑制する重み付けを実行しており、図3cに可視化されている。