[論文レビュー] Zero Shot Learning for Multi-Modal Real Time Image Registration

Avinash Kori, Ganapathi Krishnamurthi|arXiv (Cornell University)|Aug 17, 2019

Medical Image Segmentation Techniques参考文献 5被引用数 7

ひとこと要約

本論文は、事前学習されたVGG-19ネットワークを特徴抽出に用い、自動的に検出されたキーポイントからアフィン変換パラメータを推定するマルチレイヤーパーセプトロン（MLP）回帰器を用いた、ゼロショットで教師なしの深層学習フレームワークを提案する。本手法は、高精度で不確実性推定を伴うサブセカンドの登録時間を達成し、タスク固有のトレーニングデータを必要とせずに、BraTS、ALBERT、および臨床的MRIデータセットにおいても頑健な性能を示している。

ABSTRACT

In this report we present an unsupervised image registration framework, using a pre-trained deep neural network as a feature extractor. We refer this to zero-shot learning, due to nonoverlap between training and testing dataset (none of the network modules in the processing pipeline were trained specifically for the task of medical image registration). Highlights of our technique are: (a) No requirement of a training dataset (b) Keypoints i.e.locations of important features are automatically estimated (c) The number of key points in this model is fixed and can possibly be tuned as a hyperparameter. (d) Uncertaintycalculation of the proposed, transformation estimates (e) Real-time registration of images. Our technique was evaluated on BraTS, ALBERT, and collaborative hospital Brain MRI data. Results suggest that the method proved to be robust for affine transformation models and the results are practically instantaneous, irrespective of the size of the input image

研究の動機と目的

• タスク固有のトレーニングデータを必要としないリアルタイムで教師なしの画像登録手法の開発。
• 神経外科学などの臨床現場における、T1、T2、FLAIRなどのマルチモーダルMRIスキャン間での頑健な登録を可能にすること。
• 事前学習済み畳み込みニューラルネットワーク（CNN）から抽出したキーポイント特徴のみを用いて、スケール、回転、平行移動、ねじれ変形などの変換パラメータを推定すること。
• 臨床意思決定を支援するため、登録のばらつきが大きい領域を特定する不確実性マップを提供すること。
• 固定画像サイズに依存しないリアルタイム性能を実現するため、質量中心（CoM）キーポイント表現による次元削減を採用すること。

提案手法

• 固定画像および移動画像の両方に対して、事前学習済みVGG-19ネットワークを特徴抽出器として使用し、最初の2つの畳み込み層からの特徴を活用する。
• 特徴マップに対して95%の最大活性化しきい値処理を適用し、顕著な領域を特定することでノイズを低減し、顕著な特徴に焦点を当てる。
• 空間平均を用いて、しきい値処理済み特徴マップの質量中心（CoM）をキーポイント位置として計算する：$ CoM_x = \Sigma\Sigma f_{ij}x_{ij} / \Sigma\Sigma f_{ij} $。
• 固定画像および移動画像のCoM座標を、事前学習済みMLP回帰器の入力として使用し、アフィン変換パラメータを推定する。
• ピクセル単位の不確実性マップを生成する不確実性推定器を統合し、赤は高いばらつき、青は低いばらつきを示す。
• 最小限の前処理を実施：平均ゼロ化、正規化、ゼロパディングにより、大規模な変形処理においても空間情報を保持する。

実験結果

リサーチクエスチョン

• RQ1 医療画像データに対して微調整なしに、事前学習済みディープニューラルネットワークを画像登録に効果的に応用できるか？
• RQ2 初期CNN特徴の質量中心（CoM）を用いたキーポイントベース登録は、フル画像登録と比較して、速度と正確性の面で優れているか？
• RQ3 不確実性推定は、組織切除や脳シフトが生じるような臨床的状況において、登録の信頼性を向上させられるか？
• RQ4 再トレーニングなしに、本手法は異なるMRIシーケンスやモodalities間で高い性能を維持できるか？
• RQ5 本手法は、入力画像サイズに依存せず、どの程度リアルタイム性能を達成できるか？

主な発見

• マルチモーダルMRI登録（T2からT1/T2）において、Diceスコアが0.44から0.91に向上し、登録後のほぼ完全な重ね合わせを示した。
• 本手法はRMSEを0.072低減し、SimpleElastix（+0.0361）およびSIFTベース手法（+0.041）を上回った。
• 登録時間は1画像あたり0.2秒にとどまり、SimpleElastix（1.6秒）およびSIFTベース手法（0.3秒）よりも顕著に高速であった。
• SSIMスコアは0.431向上し、両方のベースライン手法を上回り、登録後の高い構造的類似性を示した。
• 不確実性マップは、中心部脳領域に高いばらつきが見られ、臨床的期待と整合的であった。
• 本手法はBraTS、ALBERT、および病院で収集されたMRIデータセットにおいても頑健な性能を示し、多様なデータソースへの汎用性を確認した。