[論文レビュー] Quicksilver: Fast Predictive Image Registration - a Deep Learning Approach

Xiao Yang, Roland Kwitt+2 more|arXiv (Cornell University)|Mar 31, 2017

Medical Image Segmentation Techniques参考文献 45被引用数 13

ひとこと要約

Quicksilver は、LDDMM フレームワークにおける初期モーメントをパッチ単位のエンコーダ・デコーダーニューラルネットワークによって予測することで、高速かつ高精度な可変形状画像登録を実現する深層学習ベースの手法を提案する。本手法は、GPU最適化された LDDMM と比較して最大 100 倍の高速化を達成しながら、微分同相性の性質を維持し、不確実性推定と補正ネットワークを備えることで性能を向上させている。

ABSTRACT

This paper introduces Quicksilver, a fast deformable image registration method. Quicksilver registration for image-pairs works by patch-wise prediction of a deformation model based directly on image appearance. A deep encoder-decoder network is used as the prediction model. While the prediction strategy is general, we focus on predictions for the Large Deformation Diffeomorphic Metric Mapping (LDDMM) model. Specifically, we predict the momentum-parameterization of LDDMM, which facilitates a patch-wise prediction strategy while maintaining the theoretical properties of LDDMM, such as guaranteed diffeomorphic mappings for sufficiently strong regularization. We also provide a probabilistic version of our prediction network which can be sampled during the testing time to calculate uncertainties in the predicted deformations. Finally, we introduce a new correction network which greatly increases the prediction accuracy of an already existing prediction network. We show experimental results for uni-modal atlas-to-image as well as uni- / multi- modal image-to-image registrations. These experiments demonstrate that our method accurately predicts registrations obtained by numerical optimization, is very fast, achieves state-of-the-art registration results on four standard validation datasets, and can jointly learn an image similarity measure. Quicksilver is freely available as an open-source software.

研究の動機と目的

• LDDMM の理論的保証を維持しつつ、計算時間を大幅に削減する高速で微分可能な画像登録手法の開発。
• 高解像度データを用いた大規模神経画像研究において、リアルタイムまたはニアリアルタイムでの登録を可能にする。
• 反復的最適化を回避するため、画像の外観から直接変形場を予測する深層ニューラルネットワークの使用。
• 特に大規模または複雑な変形領域において、予測された変形の不確実性を定量化すること。
• 予測精度をわずかに増加させる計算コストを最小限に抑えた補正ネットワークの導入。

提案手法

• 画像ペアから LDDMM モデルの初期モーメントのパラメータ化を予測するための深層エンコーダ・デコーダ畳み込みニューラルネットワークを訓練する。
• パッチ単位の予測を用いることで、効率的で並列化可能な推論を可能にし、受容 field の設計により空間的文脈を保持する。
• 十分な正則化のもとで、変形が滑らかで逆写像可能な変換を保証するモーメント場を予測することで、LDDMM の微分同相性の性質を活用する。
• 推論時にモンテカルロサンプリングを用いることで、不確実性推定を確率的ネットワークに統合する。
• 初期予測を精緻化するための別個の補正ネットワークを訓練し、推論時間は 2 倍にしか増加しないが、精度を向上させる。
• 訓練中に画像類似度測度を共同で学習することで、外部損失関数を必要とせず、アライメント性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、LDDMM フレームワークにおいて、理論的微分同相性を保持しつつ、高い精度と速度で変形場を予測できるか？
• RQ2 パッチ単位の予測は、並列化と複数 GPU におけるスケーラビリティを確保しつつ、登録精度を維持できるか？
• RQ3 不確実性推定を予測ネットワークに信頼性を持って統合できるか、とくに大規模な変形や画像不一致領域を特定できるか？
• RQ4 補正ネットワークは、計算コストを著しく増加させることなく、初期予測の精度をどの程度向上できるか？
• RQ5 本手法は一様およびマルチモodal 画像登録タスクに一般化可能であり、SOTA の性能を達成できるか？

主な発見

• Quicksilver は、4 つの標準的検証データセットにおいて、既存の学習ベースおよび最適化ベースの手法を上回る SOTA の登録精度を達成した。
• GPU アクセelerated LDDMM と比較して、登録時間を最大 2 時間分のオーダー短縮し、3D 脳画像の推論速度が 1 秒未満に達した。
• 補正ネットワークは推論時間の 2 倍増加で予測精度を向上させ、実用的な時間枠内で高精度な結果を得られた。
• 確率的ネットワークが生成する不確実性マップは、大規模な変形や外観変化領域を特定し、病変の可能性がある領域を示している。
• マルチGPU推論をサポートしており、クラスタ環境でさらなる高速化が可能であり、複数GPU間での実行時間が効率的にスケーリングされた。
• 本手法は画像類似度測度を共同で学習するため、手動で設計されたまたは外部の類似度メトリクスの必要がなくなった。