[論文レビュー] Semantic similarity metrics for learned image registration

Steffen Czolbe, Oswin Krause+1 more|arXiv (Cornell University)|Apr 20, 2021

Medical Image Segmentation Techniques参考文献 34被引用数 5

ひとこと要約

この論文では、自己符号化器（非教師あり）またはセグメンテーションモデル（半教師あり）からの深層特徴を活用して、学習済み画像登録のためのデータ駆動型意味的類似度メトリックであるDeepSimを提案する。DeepSimは、画像アーチファクトに対する不変性を学習し、滑らかで解剖学的に正確な変換を生成することで、複数の生物学的画像データセットにおいて、NCC や MSE といった従来のメトリックを上回る精度を達成する。特にノイズが多い条件下でも優れた性能を示す。

ABSTRACT

We propose a semantic similarity metric for image registration. Existing metrics like Euclidean Distance or Normalized Cross-Correlation focus on aligning intensity values, giving difficulties with low intensity contrast or noise. Our approach learns dataset-specific features that drive the optimization of a learning-based registration model. We train both an unsupervised approach using an auto-encoder, and a semi-supervised approach using supplemental segmentation data to extract semantic features for image registration. Comparing to existing methods across multiple image modalities and applications, we achieve consistently high registration accuracy. A learned invariance to noise gives smoother transformations on low-quality images.

研究の動機と目的

• 従来のピクセルベース類似度メトリック（例：MSE、NCC）はノイズや低コントラストに敏感であるため、画像登録におけるその限界を解消すること。
• 解剖学的・構造的対応関係をよりよく反映する、データセット固有の意味的特徴を学習することで、登録精度を向上させること。
• 多様な画像モodalities にわたる手動のハイパーパrameterチューニングに依存しない汎用的な類似度メトリックを開発すること。
• 低線量CT や超音波画像などの低品質画像においても、深層特徴抽出によりノイズに対する不変性を学習することで、頑健な登録を可能にすること。
• 教師ありメトリックに追加のアノテーションを必要としないが、非教師あり自己符号化器または半教師ありセグメンテーションモデルからの意味的特徴が、教師ありメトリックを上回るか同等の性能を発揮できることを実証すること。

提案手法

• 強度画像上で自己符号化器を学習し、類似度メトリック（DeepSim-ae）に使用する非教師あり意味的特徴を学習する。
• アノテート済みラベルで訓練されたセグメンテーションモデルを用いて、解剖学的関連性を捉えた半教師あり意味的特徴（DeepSim-seg）を抽出する。
• 変換済み移動画像と固定画像間の特徴レベル相関に基づく類似度メトリックを構築し、従来の強度ベースのメトリックに置き換える。
• Deep learningに基づく登録フレームワークにDeepSimメトリックを統合し、学習済み特徴類似度を用いて勾配降下法で変換を最適化する。
• 滑らかで物理的に妥当な変形場を保証するため、拡散正則化子を適用し、すべての手法でハイパーパrameterチューニングを一貫して行う。
• 特徴抽出器を登録モデルと同時にエンドツーエンドで学習するか、別個に学習するか、設定に応じて設定し、画像ペア間の特徴を整合させる。

実験結果

リサーチクエスチョン

• RQ1 深層特徴に基づく学習済み意味的類似度メトリックは、MSE や NCC といった標準的なピクセルベースメトリックと比較して、登録精度を向上させることができるか？
• RQ2 特徴学習中に解剖学的セグメンテーションラベルを組み込むことで、非教師あり特徴学習よりも高い登録性能が得られるか？
• RQ3 従来のメトリックが強度アーチファクトに敏感であるため失敗するノイズが多い画像において、提案されたDeepSimメトリックはどのように性能を発揮するか？
• RQ4 学習済み特徴ベースのメトリックは、モダリティ固有のチューニングを必要とせずに、異なる画像モダリティや解剖学的構造に一般化できるか？
• RQ5 DeepSimの性能向上は、MRI、CT、顕微鏡画像を含む多様な生物学的データセットにおいても、強固に維持されるか？

主な発見

• 非教師ありバージョンであるDeepSim-aeは、3つのデータセットのうち2つにおいて、NCC_sup といった教師ありメトリックと同等またはそれ以上の登録精度を達成した。これは、強力な性能を発揮するためにセグメンテーションラベルが不要であることを示している。
• 半教師ありバージョンであるDeepSim-segは、Brain-MRI データセットの解剖学的領域におけるDiceスコアを、すべてのベースラインを上回った。両手法とも、強調された領域において、すべてのベースラインより高い中央値Diceスコアを示した。
• ノイズが多い画像では、DeepSimで訓練されたモデルが、NCC や NCC_sup と比較して顕著に滑らかで、不規則な変形を生成するのを防いでいた。これは、アーチファクトに敏感であるためである。
• 変換場の定性的な分析から、DeepSimの学習済み特徴はノイズに対して不変であることが示された。これにより、正則化強度を増加させることなく、正確な登録が可能になった。
• 従来のメトリックを多数試行するための経験的テストの必要性が減少した。DeepSimは、特定のデータセットに適した関連特徴を自動で学習するからである。
• DeepSimはモダリティを跨いで一般化可能であり、ディープラーニングベースの登録フレームワークにとどまらず、アルゴリズム的登録やその他の画像回帰タスクへも応用可能である。