[論文レビュー] Benchmarking Self-Supervised Learning on Diverse Pathology Datasets

Mingu Kang, Heon Song+3 more|arXiv (Cornell University)|Dec 9, 2022

AI in cancer detection被引用数 6

ひとこと要約

本論文は、The Cancer Genome Atlas (TCGA) の大規模な病理組織全スライド画像（WSI）を用いて、自己教師あり学習（SSL）手法4種（MoCo v2, SwAV, Barlow Twins, DINO）をベンチマークした。その結果、分類および核インスタンスセグメンテーションを含む多様な下流タスクにおいて、ドメインに適合した事前学習が ImageNet 事前学習を顕著に上回ることを示した。主な貢献は、特に低ラベル環境下で性能を向上させるドメイン固有のデータクリーニングおよび増強技術の開発であり、病理学的画像における密度予測タスクへのSSLの初の成功応用である。

ABSTRACT

Computational pathology can lead to saving human lives, but models are annotation hungry and pathology images are notoriously expensive to annotate. Self-supervised learning has shown to be an effective method for utilizing unlabeled data, and its application to pathology could greatly benefit its downstream tasks. Yet, there are no principled studies that compare SSL methods and discuss how to adapt them for pathology. To address this need, we execute the largest-scale study of SSL pre-training on pathology image data, to date. Our study is conducted using 4 representative SSL methods on diverse downstream tasks. We establish that large-scale domain-aligned pre-training in pathology consistently out-performs ImageNet pre-training in standard SSL settings such as linear and fine-tuning evaluations, as well as in low-label regimes. Moreover, we propose a set of domain-specific techniques that we experimentally show leads to a performance boost. Lastly, for the first time, we apply SSL to the challenging task of nuclei instance segmentation and show large and consistent performance improvements under diverse settings.

研究の動機と目的

• 大規模な病理画像データに対する自己教師あり学習（SSL）の有効性を、ImageNet 事前学習と比較して評価すること。
• 自然画像と病理画像との間の主な相違点を特定し、標準的なSSL手法の転移性能を制限する要因を解明すること。
• 病理画像におけるSSL性能を向上させるために、ドメイン固有のデータクリーニングおよび増幅戦略を設計・検証すること。
• 計算病理学で一般的な低リソース環境におけるSSLのラベル効率を実証すること。
• 核インスタンスセグメンテーションという挑戦的なタスクに、初めてSSLを適用し、その性能を評価すること。

提案手法

• The Cancer Genome Atlas (TCGA) に由来する1900万枚の全スライド画像（WSI）パッチを用いて、MoCo v2, SwAV, Barlow Twins, DINO の4つのSSLモデルを事前学習した。
• 病理画像に特化したデータ増幅戦略（回転不変性、色の変更など）を導入し、形態的および文脈的特徴をよりよく捉えるようにした。
• BACH, CRC, PatchCamelyon, MHIST（分類）および CoNSeP（核インスタンスセグメンテーション）の5つのデータセットに対して、線形評価および微調整プロトコルを適用した。
• 低品質パッチをフィルタリングし、事前学習データの多様性と代表性を確保するための二段階のデータクリーニングパイプラインを採用した。
• 自己教師あり学習と教師あり学習の両者におけるビジョントランスフォーマー（ViT）の注目マップを分析し、解釈可能性および特徴の局在化を評価した。
• Camelyon16 におけるスライドレベル分類実験を、CLAM風の特徴集約法を用いて実施し、全スライド解析への転送可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 病理画像データにおける自己教師あり事前学習が、下流の病理学的分類およびセグメンテーションタスクにおいて、ImageNet 事前学習を上回るか？
• RQ2 ドメイン固有のデータ増幅およびクリーニング手法は、標準的な増幅法と比較して、病理画像におけるSSL性能をどの程度向上させるか？
• RQ3 病理学的環境で一般的な低ショット学習状況において、SSLはどの程度ラベル効率的か？
• RQ4 核インスタンスセグメンテーションのような密度予測タスクに、SSLを効果的に適用できるか？
• RQ5 注目可視化の結果から、自己教師あり学習モデルは ImageNet 事前学習モデルと比較して、より解釈可能で生物学的に関連性の高い特徴を学習していると言えるか？

主な発見

• TCGA の WSI パッチを用いた大規模なドメインに適合した事前学習は、線形評価および微調整の両タスクにおいて、すべての下流タスクで ImageNet 事前学習を一貫して上回った。
• 提案されたドメイン固有のデータ増幅およびクリーニング手法は、すべてのSSL手法およびデータセットにおいて顕著かつ一貫した性能向上をもたらした。
• SSLは強いラベル効率を示し、CoNSeP データセットでラベル付きデータの10％のみを用いても高い性能を達成し、ImageNet ベースラインを上回った。
• 核インスタンスセグメンテーションに、初めてSSLを適用したが、Barlow Twins は ImageNet で教師あり学習されたベースラインと比較して、境界検出および細胞分離の両面で優れた性能を示した。
• 注目マップの可視化により、自己教師あり学習の ViT モデルが細胞や形態的表現型（例：上皮細胞、炎症性細胞、線維芽細胞）を局在化しているのに対し、ImageNet 事前学習済み ViT は解釈可能な注目パターンを生成できなかった。
• Camelyon16 におけるスライドレベル分類では、MoCo v2 を TCGA で事前学習した結果、AUROC が 0.986 に達したのに対し、ImageNet 事前学習では 0.927 にとどまり、全スライドレベルでもドメインに適合した事前学習の利点を確認した。