[論文レビュー] BROW: Better featuRes fOr Whole slide image based on self-distillation

Yuanfeng Wu, Shaojie Li+2 more|arXiv (Cornell University)|Sep 15, 2023

AI in cancer detection被引用数 5

ひとこと要約

BROWは、11,000枚以上の異なる組織および染色法をカバーする18000万枚のパッチを含む大規模データセットを活用し、自己蒸留に基づくビジョントランスフォーマーベースの基礎モデルであり、全スライド画像（WSI）の特徴抽出を目的としている。複数の下流タスク—スライドレベルのサブタイピング、パッチレベル分類、核セグメンテーション—において最先端の性能を達成し、微細調整を最小限に抑えた状態でも強力なロバストネスと汎用性を示している。

ABSTRACT

Whole slide image (WSI) processing is becoming part of the key components of standard clinical diagnosis for various diseases. However, the direct application of conventional image processing algorithms to WSI faces certain obstacles because of WSIs' distinct property: the super-high resolution. The performance of most WSI-related tasks relies on the efficacy of the backbone which extracts WSI patch feature representations. Hence, we proposed BROW, a foundation model for extracting better feature representations for WSIs, which can be conveniently adapted to downstream tasks without or with slight fine-tuning. The model takes transformer architecture, pretrained using self-distillation framework. To improve model's robustness, techniques such as patch shuffling have been employed. Additionally, the model leverages the unique properties of WSIs, utilizing WSI's multi-scale pyramid to incorporate an additional global view, thereby further enhancing its performance. We used both private and public data to make up a large pretraining dataset, containing more than 11000 slides, over 180M extracted patches, encompassing WSIs related to various organs and tissues. To assess the effectiveness of \ourmodel, we run a wide range of downstream tasks, including slide-level subtyping, patch-level classification and nuclei instance segmentation. The results confirmed the efficacy, robustness and good generalization ability of the proposed model. This substantiates its potential as foundation model for WSI feature extraction and highlights promising prospects for its application in WSI processing.

研究の動機と目的

• 高解像度WSI処理の課題に対処し、堅牢でスケーラブルな特徴抽出バックボーンを開発すること。
• タスク固有のモデルや自然画像事前学習の限界を克服し、WSI固有の基礎モデルを構築すること。
• 自己蒸留およびデータ拡張技術を活用して、モデルの汎用性とロバストネスを向上させること。
• WSIの階層的マルチスケール構造を活用し、グローバルな文脈理解を強化すること。
• パラメータ効率の良い微細調整または直接的な特徴抽出により、多様な下流タスクへの効率的適応を可能にすること。

提案手法

• 階層的なWSI表現を学習するため、ビジョントランスフォーマーをバックボーンとして採用する。
• 特徴品質とロバストネスを向上させるために、自己蒸留フレームワークを用いた事前学習を実施する。
• WSIからのマルチスケールピラミッド特徴を追加のグローバルビューとして統合し、文脈理解を強化する。
• 訓練中にパッチシャッフルとカラーアンバージョンのビューを適用し、データの変動に対するロバストネスを向上させる。
• 複数の臓器および染色法をカバーする、11,000枚を超えるWSIスライドからなる18000万枚のパッチの大規模データセットを活用する。公的および私的データを統合。
• 少数ショット学習またはパラメータ効率の良い微細調整（例：LoRA）を用いて下流タスクへの適応を可能にし、計算コストを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありの大規模基礎モデルは、タスク固有のモデルや自然画像事前学習と比較して、全スライド画像の特徴表現を改善できるか？
• RQ2 WSIからのマルチスケールピラミッド特徴を統合することで、モデルの性能と汎用性はどのように向上するか？
• RQ3 自己蒸留は、WSI表現学習におけるロバストネスと特徴品質をどの程度向上させるか？
• RQ4 提案モデルは、微細調整を最小限に抑えた状態でも、多様な下流タスクに効果的に汎用できるか？
• RQ5 データセットの規模と多様性（例：染色法、組織タイプ）は、モデルの性能と汎用性にどのように影響するか？

主な発見

• BROWは、複数のデータセットにおいてスライドレベルのサブタイピングタスクで競争力のある性能を達成し、異なる組織タイプや染色プロトコル間での強力な汎用性を示した。
• 自己蒸留による頑健な特徴学習のおかげで、特にデータが少ない状況下でも、ベースライン手法を上回る性能を発揮した。
• 核インスタンスセグメンテーションタスクで最先端の結果を達成し、微細な形態的特徴を捉える能力を示した。
• マルチスケールピラミッド特徴の活用は、文脈理解を要するタスクにおいて顕著にモデル性能を向上させた。
• 自己蒸留およびデータ拡張技術により、染色のばらつきや画像アーチファクトに対する感受性が低減され、モデルのロバストネスが向上した。
• 強力な転移性を示し、微細調整を最小限に抑えるか、あるいは直接的な特徴抽出のみで下流タスクへの効果的適応が可能であった。