[論文レビュー] Fast Predictive Multimodal Image Registration

Xiao Yang, Roland Kwitt+2 more|arXiv (Cornell University)|Mar 31, 2017

Fetal and Pediatric Neurological Disorders参考文献 25被引用数 5

ひとこと要約

本論文では、大域的変形微分計量マッピング（LDDMM）の初期運動量を予測するとともに、マルチモodal画像類似度測度を共同で学習する深層エンコーダデコーダネットワークを提案する。これにより、高速で微分同相的かつ一貫性のあるマルチモーダル画像登録が可能となる。本手法は、GPUアクセcelerated LDDMM最適化と比較して36倍の高速化を達成しながらも、高い精度を維持し、ベイジアン拡張により不確実性推定を提供する。

ABSTRACT

We introduce a deep encoder-decoder architecture for image deformation prediction from multimodal images. Specifically, we design an image-patch-based deep network that jointly (i) learns an image similarity measure and (ii) the relationship between image patches and deformation parameters. While our method can be applied to general image registration formulations, we focus on the Large Deformation Diffeomorphic Metric Mapping (LDDMM) registration model. By predicting the initial momentum of the shooting formulation of LDDMM, we preserve its mathematical properties and drastically reduce the computation time, compared to optimization-based approaches. Furthermore, we create a Bayesian probabilistic version of the network that allows evaluation of registration uncertainty via sampling of the network at test time. We evaluate our method on a 3D brain MRI dataset using both T1- and T2-weighted images. Our experiments show that our method generates accurate predictions and that learning the similarity measure leads to more consistent registrations than relying on generic multimodal image similarity measures, such as mutual information. Our approach is an order of magnitude faster than optimization-based LDDMM.

研究の動機と目的

• T1およびT2強調画像を用いた3D脳MRIにおける正確かつ効率的なマルチモーダル画像登録の課題に対処すること。
• 相互情報量のような手作業で設計された類似度測度の限界を克服し、一貫性のないまたは最適でない登録を回避すること。
• 特徴工学や画像合成に依存せずに、画像類似度と変形予測を共同で学習する深層学習フレームワークの開発。
• 最適化ベースのLDDMM登録と比較して顕著な高速化を達成しながら、微分同相性などの数学的性質を保持すること。
• ネットワークのベイジアン確率的拡張を用いて、予測された変形に対する不確実性推定を提供すること。

提案手法

• 3D画像パッチ（15×15×15）を処理し、LDDMMシューティング定式化における初期運動量を予測するパッチベースの深層エンコーダデコーダネットワークを設計。
• 明示的な特徴選択を必要とせず、マルチモーダル画像類似度と変形パrameter予測の両方を同時に最適化するように、ネットワークをエンドツーエンドで訓練。
• トレーニングおよび推論の両方で重複するパッチを生成するために、ストライド14のスライディングウインドウ手法を採用し、局所的文脈モデリングを可能にする。
• テスト時に予測を複数回サンプリングできるモンテカルロドロップアウトを用いて、ベイジアンバージョンのネットワークを実装し、変形場における不確実性を推定。
• LDDMMの数学的構造を活用して、予測された変形が微分同相的であることを保証し、トポロジカルな一貫性を維持。
• 性能の上限を評価するためT1w-T1w画像ペアで学習し、マルチモーダル登録性能を評価するためT1w-T2wペアで学習。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、高い精度と速度を実現しつつ、マルチモーダル画像類似度測度と変形パrameterを共同で学習できるか？
• RQ2 データから学習する類似度測度は、相互情報量のような一般的な測度と比較して、登録の一貫性を向上させるか？
• RQ3 提案手法は、LDDMMの微分同相性を保持しつつ、計算時間をどの程度短縮できるか？
• RQ4 10枚のトレーニング画像ペア（90例）でのみ学習した場合、ネットワークはどの程度一般化性能を維持できるか？
• RQ5 ネットワークのベイジアン拡張は、マルチモーダル登録予測における不確実性を信頼性高く評価できるか？

主な発見

• 提案手法は、GPUアクセcelerated LDDMM最適化と比較して36倍の高速化を達成し、1つの3D画像ペアあたりの平均推論時間は24.46秒であった。
• T1w-T2wネットワークの変形誤差は、T1w-T1wの上限性能ネットワークとわずかに高いにとどまり、高い登録一貫性を示した。
• 最も近い先行研究[20]と比較して、すべての百分位数において2.1%〜7.3%の変形誤差低減が見られ、一般化性能の向上と過学習の低減が示された。
• 10枚の画像ペア（90件のトレーニングケース）でのみ学習した場合でも、ネットワークは強固な性能を維持しており、データが限られた状況でも頑健であることが示された。
• ベイジアン拡張は、特に脳室周辺でマルチモーダルな外観差が顕著に現れる領域を的確に特定し、高不確実性領域を同定した。
• 相互情報量を用いたNiftyRegは、T1w-T1wとT1w-T2wの登録結果の間で著しく一貫性が低く、学習された類似度測度の優位性を示した。