[論文レビュー] A Deep Metric for Multimodal Registration

Martin Simonovsky, Benjamín Gutiérrez-Becker+3 more|arXiv (Cornell University)|Sep 17, 2016

Medical Image Segmentation Techniques参考文献 13被引用数 25

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）に基づく深層メトリックを提案し、マルチモodal 3D 医療画像の登録に用いる。ネットワークは、一致した画像パッチと一致しない画像パッチを分類するように学習される。この手法は、異なるデータセットにおける被験者間 T1-T2 変形登録において、相互情報量を著しく上回り、少数の学習ペアでも良好に一般化可能であり、勾配ベースの更新による効率的な連続最適化を可能にする。

ABSTRACT

Multimodal registration is a challenging problem in medical imaging due the high variability of tissue appearance under different imaging modalities. The crucial component here is the choice of the right similarity measure. We make a step towards a general learning-based solution that can be adapted to specific situations and present a metric based on a convolutional neural network. Our network can be trained from scratch even from a few aligned image pairs. The metric is validated on intersubject deformable registration on a dataset different from the one used for training, demonstrating good generalization. In this task, we outperform mutual information by a significant margin.

研究の動機と目的

• 画像モodal ごとに組織の外観が著しく異なるため、マルチモダリティ医療画像登録の課題に対処すること。
• 手作業で設計された測定値に依存せず、多様なモダリティの組み合わせに適応可能な汎用的で学習可能な類似度メトリックを開発すること。
• 医療画像において一般的な少数の一致画像ペアのみを用いても効果的な登録を可能にすること。
• 学習データとは異なるデータセット上でメトリックを検証し、強力な一般化能力を示すこと。
• 変形登録のための連続最適化フレームワークに学習されたメトリックを統合すること。

提案手法

• 本手法は、登録問題を二値分類タスクとしてモデル化する：異なるモダリティ間の一致したパッチと一致しないパッチを区別する。
• 3次元畳み込みニューラルネットワーク（CNN）を、固定画像と変形された移動画像からの対応するパッチの不一致スコアを出力するように学習する。
• 小さな一連の一致画像ボリュームから、オンラインサンプリングとデータ拡張を用いて、正例（一致）と負例（不一致）のパッチペアを生成し、ネットワークをゼロから学習する。
• CNN からの不一致マップを、勾配逆伝播を介して変換パラメータの更新に使用する連続最適化フレームワーク内の類似度メトリックとして用いる。
• 勾配降下法を用いた連続最適化スキームにメトリックを統合し、移動画像に関するメトリックの微分を用いて変換の更新をガイドする。
• Bスプライン変換を用いた変形登録設定で評価され、本手法は連続的および離散的最適化フレームワークの両方と互換性があることが示された。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの類似度メトリックは、マルチモダリティ登錻において、異なる画像プロトコルや被験者集団に一般化可能か？
• RQ2 CNN ベースのメトリックは、従来の相互情報量などの伝統的メトリックと比較して、被験者間 3D 登録においてどの程度の性能を示すか？
• RQ3 少数の一致画像ペアからのみ学習可能であるか、その有効性はどの程度か？
• RQ4 学習されたメトリックは、変形登録における連続最適化に適した滑らかで信頼性のある勾配を生成するか？
• RQ5 学習に用いたデータセットとは異なるデータセットへも効果的に適用可能か、すなわち学習ドメインを越えて一般化可能か？

主な発見

• 提案された CNN ベースのメトリックは、被験者間 T1-T2 変形登録において、相互情報量を著しく上回り、Dice スコアおよび Jaccard スコアで統計的に有意な約 4 ポints の向上（p < 0.01）を示した。
• 学習データ（IXI）とは異なるデータセット（ALBERTs）に対しても良好に一般化され、スキャナーや人口統計的差異に対して強い耐性を示した。
• 学習にわずか 3 対の一致画像ペアしか使用しなくても、マスキングを施した相互情報量と同等の性能を示し、6 対または 11 対のペアを使用すれば、MI や MI+M を常に上回った。
• メトリックは滑らかで整合性のある勾配を生成し、正しい符号と局所的最小値を持つため、連続最適化において安定した収束を実現した。
• CNN メトリックを用いた登録処理は、相互情報量の約 2 倍の速度で実行可能であり、主なオーバーヘッドはメトリック計算ではなく画像リサンプリングに起因する。
• 本手法は離散的最適化フレームワーク（例：MRF を用いた定式化）とも互換性があり、単一の順方向パスで十分なユニタリポテンシャルが得られる。