[論文レビュー] Geometric Visual Similarity Learning in 3D Medical Image Self-supervised Pre-training

Yuting He, Guanyu Yang+5 more|arXiv (Cornell University)|Mar 2, 2023

AI in cancer detection被引用数 4

ひとこと要約

本稿では、3次元医療画像の自己教師付き事前学習のための新しい自己教師付き事前学習フレームワークである幾何的視覚類似度学習（GVSL）を提案する。この手法は、トポロジカル不変性を活用することで、画像間類似度測定の信頼性を向上させる。Zマッチングヘッドを導入し、グローバルおよびローカルな幾何的対応関係を同時に学習することで、意味的領域にわたる一貫性のある表現学習を可能にし、4つの3次元医療画像ベンチマークにおいて、シーン内、シーン間、グローバル-ローカルの転移タスクで顕著な性能向上を達成する。

ABSTRACT

Learning inter-image similarity is crucial for 3D medical images self-supervised pre-training, due to their sharing of numerous same semantic regions. However, the lack of the semantic prior in metrics and the semantic-independent variation in 3D medical images make it challenging to get a reliable measurement for the inter-image similarity, hindering the learning of consistent representation for same semantics. We investigate the challenging problem of this task, i.e., learning a consistent representation between images for a clustering effect of same semantic features. We propose a novel visual similarity learning paradigm, Geometric Visual Similarity Learning, which embeds the prior of topological invariance into the measurement of the inter-image similarity for consistent representation of semantic regions. To drive this paradigm, we further construct a novel geometric matching head, the Z-matching head, to collaboratively learn the global and local similarity of semantic regions, guiding the efficient representation learning for different scale-level inter-image semantic features. Our experiments demonstrate that the pre-training with our learning of inter-image similarity yields more powerful inner-scene, inter-scene, and global-local transferring ability on four challenging 3D medical image tasks. Our codes and pre-trained models will be publicly available on https://github.com/YutingHe-list/GVSL.

研究の動機と目的

• 意味的独立な外観変動による3次元医療画像の自己教師付き事前学習における信頼性の低い画像間類似度測定の課題に対処する。
• クラスタリングベース、対照的、生成ベースの従来手法の限界を乗り越えるために、頑健な類似度学習のための前提条件としてトポロジカル不変性を埋め込む。
• 幾何的対応関係と自己修復を統合的に最適化することで、異なる画像間で同じ意味的領域に対する特徴の一貫性を高める統合フレームワークを開発する。
• 内的シーン、シーン間、グローバル-ローカルの転送設定を含む多様な下流タスクにおける事前学習モデルの転送性を向上させる。

提案手法

• トポロジカル不変性をインダクティブバイアスとして組み込むことで、3次元医療画像における画像間類似度測定の安定性を高める、新しいパラダイム「幾何的視覚類似度学習（GVSL）」を提案する。
• 異なる可微分幾何的マッチング機構を介して、画像ペア間のグローバルおよびローカルな幾何的対応関係を学習するZマッチングヘッドを設計する。
• 幾何的マッチングタスクの最適化を支援するため、視覚的意味の基本的で頑健な表現を提供する自己修復の事前学習タスクを統合する。
• 幾何的マッチングの監督信号として正規化相互相関（NCC）損失を用い、外観変動が生じる画像間で意味的領域の整合性を図る。
• 自己修復と幾何的マッチングを統合したマルチタスク目的関数を用いて、エンドツーエンドでモデルを訓練し、Zマッチングヘッドが一貫性のある特徴学習を導く。
• 3次元医療画像の空間的完全性と解剖学的整合性を活用し、信頼性の高い意味的対応関係の発見にトポロジカル不変性を応用する。

実験結果

リサーチクエスチョン

• RQ1 3次元医療画像におけるトポロジカル不変性は、自己教師付き事前学習における画像間類似度測定の信頼性を向上させるためにどのように活用可能か？
• RQ2 グローバルおよびローカルな対応関係を同時に学習する幾何的マッチングヘッドは、異なる画像間で同じ意味的領域に対する表現の一貫性を向上させることができるか？
• RQ3 幾何的マッチングと自己修復事前学習タスクを組み合わせることで、意味的特徴のクラスタリング効果と下流タスクの転移性能はどの程度向上するか？
• RQ4 GVSLは、3次元医療画像タスクにおけるシーン内、シーン間、グローバル-ローカルの転送性に関して、従来の自己教師付き手法と比較してどのように差をつけるか？

主な発見

• 自己修復とZマッチングの両方を用いることで、局所的特徴のクラスタリング効果が顕著に向上し、特に異なる意味的領域のクラスタが明確に分離される。
• Zマッチングヘッドにより、外観変動が著しい状況下でも幾何的対応関係の有効な学習が可能であることが、NCC損失の収束と特徴の整合性向上によって示された。
• 自己修復と幾何的マッチングの組み合わせにより、単独で実行するタスクよりも、より代表的かつ特徴的な特徴が得られる。
• GVSLは、4つの挑戦的な3次元医療画像タスクにおいて優れた性能を発揮し、優れたシーン内、シーン間、グローバル-ローカルの転送性を示した。
• アブレーションスタディにより、幾何的マッチングタスクの最適化を安定化させるために、基本的な自己修復タスクが不可欠であることが確認された。
• 本手法はスキャンプロトコルの変動に対してもロバストであり、外観の違いがあっても同じ意味的領域に対して一貫した表現を維持する。