[論文レビュー] Self-Supervised Vision Transformers Learn Visual Concepts in Histopathology

Richard J. Chen, Rahul G. Krishnan|arXiv (Cornell University)|Mar 1, 2022

AI in cancer detection被引用数 43

ひとこと要約

この論文は病理パッチおよびスライドレベルのタスクに対する自己教師付き学習をベンチマークし、DINOベースのビジョントランスフォーマーが解釈可能な形態特異的視覚概念を学習し、データ不足設定で特にImageNet pretrainedのベースラインを上回ることが多いことを示す。

ABSTRACT

Tissue phenotyping is a fundamental task in learning objective characterizations of histopathologic biomarkers within the tumor-immune microenvironment in cancer pathology. However, whole-slide imaging (WSI) is a complex computer vision in which: 1) WSIs have enormous image resolutions with precludes large-scale pixel-level efforts in data curation, and 2) diversity of morphological phenotypes results in inter- and intra-observer variability in tissue labeling. To address these limitations, current efforts have proposed using pretrained image encoders (transfer learning from ImageNet, self-supervised pretraining) in extracting morphological features from pathology, but have not been extensively validated. In this work, we conduct a search for good representations in pathology by training a variety of self-supervised models with validation on a variety of weakly-supervised and patch-level tasks. Our key finding is in discovering that Vision Transformers using DINO-based knowledge distillation are able to learn data-efficient and interpretable features in histology images wherein the different attention heads learn distinct morphological phenotypes. We make evaluation code and pretrained weights publicly-available at: https://github.com/Richarizardd/Self-Supervised-ViT-Path.

研究の動機と目的

• 病理組織学におけるWSI表現型表現型（全スライド画像）へのエンコーダとして、自己教師付きモデルの一連を評価する。
• 自己教師付き手法の帰納的バイアスが、パッチレベルおよび弱教師付き組織表現型タスクにどのように影響するかを評価する。
• 自己教師付き事前学習（SimCLR, DINO）とImageNet転移学習を多様な病理データセットで比較する。
• 学習表現の解釈可能性を調査し、特にアテンションヘッドが組織病理概念を局在化するかを検討する。

提案手法

• 256x256の組織病理パッチ（20x）に対して自己教師付き手法（ResNet-50を用いたSimCLRとVision Transformerを用いたDINO）で事前学習を行う。
• 弱教師付きの乳がんサブタイピング（IDC vs ILC）およびパッチレベルの組織表現型（CRC-100K, BreastPathQ）を、学習データ割合（100%、75%、50%、25%）を変えて評価する。
• スライドレベル予測を集約するため、パッチ埋め込みをMILフレームワーク（CLAMをバッグ分類器として使用）で統合する。
• ベースラインとしてImageNetで事前学習したResNet-50と比較し、DINOのアテンションヘッドを可視化して学習された視覚概念を解釈する。
• UMAPによるグローバル構造の分析と、自己教師付き特徴のデータ効率および頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 病理パッチに対する自己教師付き事前学習は、パッチレベルおよびスライドレベルの病理タスクにおいてImageNet pretrainedエンコーダを上回る表現を生み出すか。
• RQ2 データ利用可能性の変化に対して、SimCLRとDINOは弱教師付きの癌サブタイピングおよびパッチレベルの組織表現型でどう差が出るか。
• RQ3 DINOのアテンションヘッドは、細胞・間質・脂肪/気腔などの有意味な病理概念を局在化し、組織パッチの部分-全体の階層を反映できるか。

主な発見

Table / Context	Method	Arch	100% Training	75% Training	50% Training	25% Training
BRCA Subtyping (IDC vs ILC)	IN Transfer	ResNet-50	0.884 ± 0.059	0.850 ± 0.069	0.835 ± 0.087	0.756 ± 0.081
BRCA Subtyping (IDC vs ILC)	SimCLR	ResNet-50	0.879 ± 0.069	0.859 ± 0.079	0.820 ± 0.102	0.774 ± 0.094
BRCA Subtyping (IDC vs ILC)	DINO	ViT	0.886 ± 0.059	0.852 ± 0.049	0.862 ± 0.052	0.809 ± 0.034
CRC-100K Patch-Level (Macenko SN, All Classes)	IN Transfer	ResNet-50	0.983
CRC-100K Patch-Level (Macenko SN, All Classes)	SimCLR	ResNet-50	0.988
CRC-100K Patch-Level (Macenko SN, All Classes)	DINO	ViT	0.999
CRC-100K Patch-Level (Macenko SN, All Classes) – No SN	IN Transfer	ResNet-50	0.988
CRC-100K Patch-Level (Macenko SN, All Classes) – No SN	SimCLR	ResNet-50	0.981
CRC-100K Patch-Level (Macenko SN, All Classes) – No SN	DINO	ViT	0.991
BRCA Tumor Cellularity (BreastPathQ)	IN Transfer	ResNet-50	0.058
BRCA Tumor Cellularity (BreastPathQ)	SimCLR	ResNet-50	0.078
BRCA Tumor Cellularity (BreastPathQ)	DINO	ViT	0.029

• ImageNetの特徴は強力なベースラインであり、いくつかのタスクで自己教師付き手法と競合することがある。
• BRCAサブタイピングでは、DINOが自己教師付き手法の中で最高のAUCを達成し、学習データ割合に応じてImageNetベースラインに近い、あるいはやや下回る場合がある。
• CRC-100Kのパッチレベル表現型では、自己教師付き手法（特にDINO）は堅牢な性能を示し、ImageNet由来の特徴を上回るか近接し、埋め込みのグローバル構造保持が改善される。
• DINOはほとんどのタスクでSimCLRを上回り、特にデータが不足する条件下で、知識蒸留型事前学習が病理組織特有の形態をより良く捉えることを示唆する。
• 可視化は、DINOのマルチヘッドアテンションが細胞位置、間質、脂肪/気腔などの異なる形態表現型を局在化し、解釈可能な部分-全体表現を支持することを示唆する。