[論文レビュー] Towards Foundation Models Learned from Anatomy in Medical Imaging via Self-Supervision

Mohammad Reza Hosseinzadeh Taher, Michael B. Gotway+1 more|arXiv (Cornell University)|Sep 27, 2023

AI in cancer detectionComputer Science被引用数 3

ひとこと要約

本論文では、粗くから細かくまでの階層的対照学習戦略を通じて解剖的階層を学ぶ、自己教師あり基礎モデルAdamを提案する。局所性と構成性を密な埋め込み（Eve）に組み込むことで、先行する自己教師あり学習手法よりも9–30%の精度向上を達成し、アノテーションの効率性も向上させた、最先端の少サンプルセグメンテーション性能を実現した。

ABSTRACT

Human anatomy is the foundation of medical imaging and boasts one striking characteristic: its hierarchy in nature, exhibiting two intrinsic properties: (1) locality: each anatomical structure is morphologically distinct from the others; and (2) compositionality: each anatomical structure is an integrated part of a larger whole. We envision a foundation model for medical imaging that is consciously and purposefully developed upon this foundation to gain the capability of "understanding" human anatomy and to possess the fundamental properties of medical imaging. As our first step in realizing this vision towards foundation models in medical imaging, we devise a novel self-supervised learning (SSL) strategy that exploits the hierarchical nature of human anatomy. Our extensive experiments demonstrate that the SSL pretrained model, derived from our training strategy, not only outperforms state-of-the-art (SOTA) fully/self-supervised baselines but also enhances annotation efficiency, offering potential few-shot segmentation capabilities with performance improvements ranging from 9% to 30% for segmentation tasks compared to SSL baselines. This performance is attributed to the significance of anatomy comprehension via our learning strategy, which encapsulates the intrinsic attributes of anatomical structures-locality and compositionality-within the embedding space, yet overlooked in existing SSL methods. All code and pretrained models are available at https://github.com/JLiangLab/Eden.

研究の動機と目的

• 自己教師あり学習の一般的な手法に依存するのではなく、局所性と構成性を明示的に学ぶ解剖的階層の内在的構造に着目した、医学的画像のための基礎モデルを開発すること。
• 現在の自己教師あり学習手法が人間の解剖学の構造的・意味的基盤を捉えられていないというギャップを埋めること。
• 意味的に意味のある、解剖学的認識のある埋め込みを生成するモデルを訓練することで、少サンプルセグメンテーションとアノテーションの効率性を向上させること。
• 局所性と構成性を埋め込み空間で測定する新しい評価指標を用いて、モデルの解剖学的理解を検証すること。

提案手法

• 事前学習中に粗くから細かくまでの粒度に段階的に分解する解剖的構造を学ぶ階層的対照学習フレームワーク。
• 医学的画像からマルチスケールのパッチを生成するための解剖学的分解器の使用により、粗くから細かくまでの解剖的部品の学習を可能にする。
• 対照メモリバンク内のノイズの多いネガティブペアをフィルタリングする目的のためのプルーニング機構の導入により、特徴の識別性が向上する。
• 同一の解剖的構造が患者間およびスケール間でほぼ同一の埋め込みを持つように、対照的目的関数を用いて学習を行う。
• モデル名はAdamであり、局所性と構成性を保持する密な意味的豊富な埋め込み（Eve）を生成する。
• 本フレームワークは9つの下流タスクで評価され、ファンドスコピー画像に適応した結果、モダリティを越えた一般化性能が示された。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習を、医学的画像における人間の解剖学的階層の性質を明示的に学ぶように再構築することは可能か？
• RQ2 学習された埋め込みに解剖学的局所性と構成性を組み込むことで、医学的画像セグメンテーションの下流性能が向上するか？
• RQ3 明示的な解剖学的監視なしに、自己教師ありモデルが完全に教師ありモデルと同等の少サンプルセグメンテーション性能を達成できる程度はどの程度か？
• RQ4 粗くから細かくまでの学習戦略は、モデルが解剖的構造の表現を捉える能力にどのように影響するか？
• RQ5 提案手法は、チ胸X線や網膜ファンドスコピー画像のような、異なる医学的画像モダリティに一般化可能か？

主な発見

• Adamは、複数のデータセットで最先端の自己教師ありおよび完全教師ありベースラインを上回り、少サンプルセグメンテーション性能が9%～30%向上した。
• Adamの埋め込み空間は強い局所性を示し、t-SNE可視化において、他のベースラインモデルとは異なり、明確に分離されたクラスタを形成する解剖的構造が観察された。
• Adamの埋め込みは構成性を保持しており、全体の解剖的パッチとその部分パッチの集約との間で平均コサイン類似度がほぼ1に近づき、ベースラインを著しく上回った。
• アブレーションスタディにより、粗くから細かくまでの学習戦略におけるデータの粒度を高めるほど、下流性能が一貫して向上することが確認され、階層的アプローチの有効性が裏付けられた。
• 目的のプルーナーは、ノイズの多い対照ペアを低減することでモデル性能を顕著に向上させ、特徴の識別性向上におけるその役割を確認した。
• 本手法はファンドスコピー画像にも一般化可能であり、EyePACSデータセットで血管セグメンテーションにおいて、トップパフォーマンスを示す自己教師ありベースラインより1.4%の向上を達成した（p < 0.05）。