[論文レビュー] Text-guided Foundation Model Adaptation for Pathological Image Classification

Yunkun Zhang, Jin Gao+5 more|arXiv (Cornell University)|Jul 27, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、事前学習された基盤モデルからの画像およびテキスト埋め込みを接続することで、病理画像分類の性能を向上させるデータ効率の良い手法CITEを提案する。事前学習済みの言語モデルを凍結したまま、視覚エンコーダーでのパラメータの一部のみを微調整することで、生物学的・医学的テキスト知識を統合する。CITEは、特にデータが少ない状況下でも最先端の性能を達成し、多様なバックボーンモデルとの高い汎用性と一般化性能を示している。

ABSTRACT

The recent surge of foundation models in computer vision and natural language processing opens up perspectives in utilizing multi-modal clinical data to train large models with strong generalizability. Yet pathological image datasets often lack biomedical text annotation and enrichment. Guiding data-efficient image diagnosis from the use of biomedical text knowledge becomes a substantial interest. In this paper, we propose to Connect Image and Text Embeddings (CITE) to enhance pathological image classification. CITE injects text insights gained from language models pre-trained with a broad range of biomedical texts, leading to adapt foundation models towards pathological image understanding. Through extensive experiments on the PatchGastric stomach tumor pathological image dataset, we demonstrate that CITE achieves leading performance compared with various baselines especially when training data is scarce. CITE offers insights into leveraging in-domain text knowledge to reinforce data-efficient pathological image classification. Code is available at https://github.com/Yunkun-Zhang/CITE.

研究の動機と目的

• データ不足の問題に直面する病理画像分類の課題を、事前学習済みの生物学的・医学的テキスト知識を活用することで解決すること。
• 全バックボーンを微調整することなく、基盤モデルを医療画像処理に効率的に適応できること。
• テキスト埋め込みを通じたマルチモーダルなアライメントによって、自然画像と病理画像のドメインギャップを埋めること。
• さまざまな事前学習済み視覚および言語エンコーダーと互換性のある、モデルに依存しないフレームワークを開発すること。
• ドメイン内生物学的テキストが、少データ設定における従来の分類ヘッドの代わりに機能できることを示すこと。

提案手法

• CITEは、視覚エンコーダーからの視覚特徴を投影し、それを凍結された生物学的・医学的言語モデルからのテキスト埋め込みとアライメントすることで、画像とテキストの埋め込みを接続する。
• 視覚エンコーダーの適応のため、学習可能な視覚プロンプトとプロジェクションヘッドを導入するが、事前学習済みバックボーンは凍結したままに保つ。
• テキスト埋め込みは、BioBERT や BioLinkBERT などの事前学習済み生物学的・医学的言語モデルから得られ、知識の整合性を保つためにストップ・グラデントが適用される。
• 分類は、画像とテキスト埋め込み間のコサイン類似度によって実行され、視覚プロンプトとプロジェクションヘッドのみをエンド・トゥ・エンドで学習可能となる。
• 複数の視覚エンコーダー（例：CLIP、ImageNet-21k、INTERN）および言語エンコーダーと互換性があり、柔軟な統合が可能である。
• CITEは、結合事前学習を回避し、事前学習済みの単一モodalエンコーダーを活用するとともに、適応段階でドメイン固有のテキスト知識を統合する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの生物学的・医学的テキスト知識は、データが少ない状況下でも、基盤モデルの病理画像分類性能を向上させることができるか？
• RQ2 少データ設定において、テキスト誘導型適応は従来の微調整やプロンプトチューニングと比較してどのように優れているか？
• RQ3 結合事前学習を行わない状況下でも、凍結された生物学的・医学的言語モデルが視覚表現学習をどの程度向上させられるか？
• RQ4 視覚プロンプト学習とドメイン内テキスト知識の組み合わせが、極めてデータが少ない状況下で相乗効果をもたらすか？
• RQ5 CITEフレームワークは、さまざまな視覚および言語バックボーンアーキテクチャに対してどの程度汎用性を示すか？

主な発見

• CITEは、1クラスあたり16枚のスライドしか使用しないPatchGastricデータセットで68.7％のトップ1正解率を達成し、線形プローブ（65.4％）および微調整（66.3％）のベースラインを大きく上回った。
• 1クラスあたり1枚のスライドでの学習でも、CITEはCLIPのテキストエンコーダーを用いて60.1％の正解率を達成した。これに対して、線形プローブは47.7％、微調整は39.1％であった。
• BioLinkBERTをテキストエンコーダーとして使用した場合、CITEは全訓練データを用いて69.7％の正解率を達成し、次に良い手法よりも3.4ポイント高い結果を出した。
• CITEは、1～16枚のスライドを1クラスあたり使用する全データスケールにおいて、すべてのテスト済みの視覚および言語エンコーダーの組み合わせで、すべてのベースラインを上回った。
• アブレーションスタディの結果、視覚プロンプト学習と生物学的・医学的テキスト知識の両方が不可欠であることが確認され、特に極めてデータが少ない状況下でテキスト知識が最大の貢献をした。
• フレームワークは強力な互換性を示し、CLIP、ImageNet-21k、INTERNといった複数の視覚エンコーダーおよびCLIP、BioBERT、BioLinkBERTといった言語モデルで、最先端の結果を達成した。