[論文レビュー] Benchmarking Pathology Feature Extractors for Whole Slide Image Classification

Georg Wölflein, Dyke Ferber+7 more|St Andrews Research Repository (St Andrews Research Repository)|Nov 20, 2023

AI in cancer detection被引用数 7

ひとこと要約

本研究では、弱教師あり設定下での全スライド画像（WSI）分類において、10種類の自己教師あり学習（SSL）特徴抽出モデルをベンチマークした。その結果、染色のノーマライゼーションやデータオーグメンテーションが一貫した性能向上をもたらさないことが示された。最高性能を示したモデル（Lunit-DINOおよびCTransPath）は、前処理を一切行わずに最先端の結果を達成しており、不要な前処理ステップを排除することで計算コストを削減するとともに、染色やオーグメンテーションの変動に対しても高い頑健性を示した。

ABSTRACT

Weakly supervised whole slide image classification is a key task in computational pathology, which involves predicting a slide-level label from a set of image patches constituting the slide. Constructing models to solve this task involves multiple design choices, often made without robust empirical or conclusive theoretical justification. To address this, we conduct a comprehensive benchmarking of feature extractors to answer three critical questions: 1) Is stain normalisation still a necessary preprocessing step? 2) Which feature extractors are best for downstream slide-level classification? 3) How does magnification affect downstream performance? Our study constitutes the most comprehensive evaluation of publicly available pathology feature extractors to date, involving more than 10,000 training runs across 14 feature extractors, 9 tasks, 5 datasets, 3 downstream architectures, 2 levels of magnification, and various preprocessing setups. Our findings challenge existing assumptions: 1) We observe empirically, and by analysing the latent space, that skipping stain normalisation and image augmentations does not degrade performance, while significantly reducing memory and computational demands. 2) We develop a novel evaluation metric to compare relative downstream performance, and show that the choice of feature extractor is the most consequential factor for downstream performance. 3) We find that lower-magnification slides are sufficient for accurate slide-level classification. Contrary to previous patch-level benchmarking studies, our approach emphasises clinical relevance by focusing on slide-level biomarker prediction tasks in a weakly supervised setting with external validation cohorts. Our findings stand to streamline digital pathology workflows by minimising preprocessing needs and informing the selection of feature extractors.

研究の動機と目的

• 従来の前処理手順（染色のノーマライゼーションやデータオーグメンテーションなど）が、弱教師ありWSI分類の下流性能を向上させるかどうかを実証的に評価すること。
• 臨床用途に適した組織病理学分類に最適な、頑健で効率的な特徴抽出モデルを同定すること。
• 前処理のオーバーヘッドを最小限に抑えることで、デジタル病理学のワークフローを簡素化し、モデル性能を損なわずに済ませること。
• 多様な病理学的データセットおよびタスクをカバーする、外部で検証された包括的で公開可能なSSL特徴抽出モデルのベンチマークを提供すること。

提案手法

• 9つの全スライド画像分類タスクにおいて、10種類の公開SSL特徴抽出モデル（例：Lunit-DINO、CTransPath、ViT-ImageNet）を実証的に評価する。
• 10種類の特徴抽出モデル、5つのオーグメンテーショングループ、3つのアグリゲーションヘッド（平均値、AttMIL、2層のトランスフォーマー）、9つのタスク、5つのランダムシードを用いて、合計6,750体のモデルを訓練する。
• 事前に抽出されたパッチ特徴を用いることで、実時間での特徴抽出を回避し、オーグメンテーションや染色のノーマライゼーションの有無に関わらず、効率的な学習を可能にする。
• 外部バリデーションコhortを用いて性能を比較することで、臨床的妥当性および一般化性能を保証する。
• オリジナルパッチと変換済みパッチの潜在空間の類似度を評価し、染色やオーグメンテーションに対する頑健性を定量化する。
• 3つのアグリゲーション手法を適用：グローバル平均プーリング、アテンションベースのMIL（AttMIL）、残差接続およびレイヤーノーマライゼーションを備えた2層のトランスフォーマー。

実験結果

リサーチクエスチョン

• RQ1 染色のノーマライゼーションは、SSLベースのWSI分類モデルの性能を向上させるか？
• RQ2 回転や色のジャマ（color jittering）などのデータオーグメンテーションは、病理学的特徴抽出モデルの一般化性能を向上させるか？
• RQ3 SSLベースの特徴抽出モデルは、ImageNetで事前学習されたモデルと比較して、頑健性および下流性能の面で優れているか？
• RQ4 どの特徴抽出モデルが、多様な組織病理学的データセットにおける染色や画像変換の変動に対して最も頑健か？
• RQ5 弱教師あり学習において、前処理の計算オーバーヘッドを排除しても、モデルの精度が損なわれないか？

主な発見

• 評価された9つのタスクすべてにおいて、染色のノーマライゼーションが一貫した性能向上をもたらさないことが判明し、トップパフォーマンスを示すSSLモデルでは不要であることが示された。
• 回転や色のジャマなどのデータオーグメンテーションは、下流性能を向上させず、事前に抽出された特徴に適用した場合、学習時間を最大30倍まで延長することが分かった。
• Lunit-DINOおよびCTransPathは、すべてのタスクで最高の性能を示し、染色の変動やオーグメンテーションに対して最も頑健であり、ImageNetで事前学習されたモデルを上回った。
• 最高のモデルは、前処理を一切施さずにパッチから特徴を抽出しても高い性能を維持でき、メモリおよび計算コストを顕著に削減できた。
• トップSSLモデルの潜在空間は、オーグメンテーションに対して最小限の摂動を示しており、一般的な変換に対して内在的な不変性を有していることが示された。
• 本研究は、9つのタスク、5つのデータセット、3つのアグリゲーションアーキテクチャをカバーする6,750回のトレーニング実行を実施し、公開病理学SSL特徴抽出モデルの包括的で頑健な評価として、これまでで最も包括的なものとなった。