[論文レビュー] Real-time 2D/3D Registration via CNN Regression

Shun Miao, Z. Jane Wang+1 more|arXiv (Cornell University)|Jul 27, 2015

Medical Image Segmentation Techniques参考文献 21被引用数 6

ひとこと要約

本論文は、2D X線画像と3Dデジタル再構成レントゲン（DRR）画像から直接変換パラメータを推定するため、畳み込みニューラルネットワーク（CNN）回帰を用いたリアルタイム2D/3D登録手法を提案する。画像の外観特徴を階層的・局所的に学習することで、平均0.08秒の実行時間で0.5mm未満の精度を達成し、強度ベースの最適化手法に比べて著しく高速である一方、最先端の手法と同等の精度を維持する。

ABSTRACT

In this paper, we present a Convolutional Neural Network (CNN) regression approach for real-time 2-D/3-D registration. Different from optimization-based methods, which iteratively optimize the transformation parameters over a scalar-valued metric function representing the quality of the registration, the proposed method exploits the information embedded in the appearances of the Digitally Reconstructed Radiograph and X-ray images, and employs CNN regressors to directly estimate the transformation parameters. The CNN regressors are trained for local zones and applied in a hierarchical manner to break down the complex regression task into simpler sub-tasks that can be learned separately. Our experiment results demonstrate the advantage of the proposed method in computational efficiency with negligible degradation of registration accuracy compared to intensity-based methods.

研究の動機と目的

• 画像ガイドド手術におけるリアルタイム2D/3D登録の課題に対処すること。既存の最適化ベース手法は臨床応用に不適切なほど遅い。
• 繰り返しDRR再描画を要する強度ベース手法の限界を克服すること。計算コストが非常に高い。
• 特徴検出に依存することで生じる誤差を低減するため、深層学習を活用して変換パラメータを直接回帰すること。
• 画像残差を変換パラメータ補正にマッピングするCNNを訓練することで、リアルタイムかつ高精度な登録を実現すること。
• 深層学習が強度ベース手法と同等の精度を達成しつつ、計算効率を著しく向上させられることを示すこと。

提案手法

• 本手法は2D/3D登録を回帰問題として定式化し、CNN回帰器が初期推定値と真値の変換パラメータの差を予測する。
• 変換パラメータは6つの成分にパrameter化される：3つの平面内（並進と回転）と3つの平面外（並進と2つの回転）。この構成により階層的学習が可能となる。
• CNNはDRRとX線画像の局所的画像パッチ上で学習され、複雑な回帰タスクをより単純なサブタスクに分割することで、学習可能性を向上させる。
• ネットワークは、事前に定義されたキャプチャ範囲内での予測値と真値のパラメータ差の誤差を最小化する損失関数を用いて、エンドツーエンドで訓練される。
• 3段階の階層的推論戦略が採用され、粗いスケールから細かいスケールへと段階的に変換推定値を改善する。
• GPU加速推論はCaffeを介して実装され、リアルタイムアプリケーションに適した一貫性があり低遅延の推論時間を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの回帰手法は、強度ベースの最適化手法と同等の精度を達成しつつ、リアルタイムでの2D/3D登録が可能か？
• RQ2 MIやGCといった類似度測定を用いた伝統的な強度ベース登録と比較して、CNNベース手法の計算効率はどの程度か？
• RQ3 局所的画像パッチ上で階層的CNN回帰を適用することで、反復的最適化に依存せずに2D/3D登録の精度と頑健性を向上させられるか？
• RQ4 反復的類似度ベース最適化を直接CNN回帰に置き換えた場合、登録精度と速度のトレードオフはどのようなものか？
• RQ5 特に従来手法のキャプチャ範囲内において、提案手法は多様な初期変換状態に対しても高い精度を維持できるか？

主な発見

• 提案手法はテストデータセットで92.3%の成功率を達成し、最先端のMI+GC強度ベース手法（92.7%）と同等の性能を示した。
• 投影方向における平均ターゲット登録誤差（mTREproj）は、提案手法で0.282 mmであり、MI+GCの0.260 mmよりわずかに高いが、臨床的に許容可能な範囲内であった。
• 1回の登録処理の平均実行時間は0.08秒であり、MI（1.66 s）、GC（3.91 s）、MI+GC（4.71 s）に比べて顕著に高速であった。
• 実行時間の標準偏差はほぼゼロ（0.00 s）であり、繰り返し回数に依存しない一貫性のあるリアルタイム性能を示しており、反復回数が変動する強度ベース手法とは対照的であった。
• GPU加速によりミリ秒未満の推論速度を達成し、リアルタイム画像ガイドド手術に適した性能を示した。
• 結果から、CNN回帰が画像外観特徴を効果的に活用することで、高価なDRR再描画と反復的最適化を回避でき、わずかな精度損失でリアルタイム登録が実現可能であることが示された。