[論文レビュー] Fully transformer-based biomarker prediction from colorectal cancer histology: a large-scale multicentric study

Sophia J. Wagner, Daniel Reisenbüchler+29 more|arXiv (Cornell University)|Jan 23, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 5

ひとこと要約

本研究では、大腸癌の組織画像からエンドツーエンドのバイオマーカー予測を実現する完全なトランスフォーマー基盤のディープラーニングパイプラインを導入し、手術的切除標本および内 endoscopic 生検標本の両方で臨床的水準のパフォーマンスを達成した。10の多施設コhortにまたがる9,000例以上の患者を対象にトレーニングされた本モデルは、マイクロサテライト不安定性（MSI）予測において97％の感度と99％のネガティブ予測値を達成し、CNNベースの手法と比較して優れた汎化性能とデータ効率性を示した。

ABSTRACT

Background: Deep learning (DL) can extract predictive and prognostic biomarkers from routine pathology slides in colorectal cancer. For example, a DL test for the diagnosis of microsatellite instability (MSI) in CRC has been approved in 2022. Current approaches rely on convolutional neural networks (CNNs). Transformer networks are outperforming CNNs and are replacing them in many applications, but have not been used for biomarker prediction in cancer at a large scale. In addition, most DL approaches have been trained on small patient cohorts, which limits their clinical utility. Methods: In this study, we developed a new fully transformer-based pipeline for end-to-end biomarker prediction from pathology slides. We combine a pre-trained transformer encoder and a transformer network for patch aggregation, capable of yielding single and multi-target prediction at patient level. We train our pipeline on over 9,000 patients from 10 colorectal cancer cohorts. Results: A fully transformer-based approach massively improves the performance, generalizability, data efficiency, and interpretability as compared with current state-of-the-art algorithms. After training on a large multicenter cohort, we achieve a sensitivity of 0.97 with a negative predictive value of 0.99 for MSI prediction on surgical resection specimens. We demonstrate for the first time that resection specimen-only training reaches clinical-grade performance on endoscopic biopsy tissue, solving a long-standing diagnostic problem. Interpretation: A fully transformer-based end-to-end pipeline trained on thousands of pathology slides yields clinical-grade performance for biomarker prediction on surgical resections and biopsies. Our new methods are freely available under an open source license.

研究の動機と目的

• 大腸癌の組織画像からエンドツーエンドのバイオマーカー予測を実現する完全なトランスフォーマー基盤のディープラーニングパイプラインの開発。
• 従来の畳み込みニューラルネットワーク（CNN）ベースの手法と比較して、パフォーマンス、汎化性能、データ効率性、解釈可能性の向上。
• 手術的切除標本のみでトレーニングしたモデルが、内視鏡生検組織に対しても高精度な予測を可能にするかを評価すること。
• 9,000例を超える患者が含まれる10の独立した研究からなる大規模な多施設コhortを用いてモデルの妥当性を検証すること。
• 臨床応用を促進し、広範な採用を支援するため、本手法をオープンソースとして公開すること。

提案手法

• パイプラインは、全スライド画像のパッチを処理する事前学習済みビジョントランスフォーマーエンコーダーを用いる。
• 専用のトランスフォーマーネットワークが、局所的なパッチ表現を集約してグローバルな患者レベルの埋め込みを生成し、マルチターゲット予測を実現する。
• スライドレベルのラベルがパッチレベルの表現学習をガイドする弱教師付き学習を用い、エンドツーエンドでモデルをトレーニングする。
• アーキテクチャにより、全スライド画像から患者レベルでの単一およびマルチターゲットバイオマーカー予測（例：MSI、BRAF、KRAS）が可能となる。
• 本手法は、10の独立したコhortからなる大規模な多施設データセット（大腸癌患者9,000例以上）を用いて評価された。
• 感度、ネガティブ予測値、ROC曲線下の面積（AUC）といった標準指標を用いてモデルのパフォーマンスを評価した。

Figure 1: Workflow with pre-processing, model architecture and cohort overview. a) The data pre-processing pipeline with the steps whole slide image (WSI) digitization, tissue segmentation, tessellation into tiles, and stain normalization, b) the model architecture including the pre-trained feature

実験結果

リサーチクエスチョン

• RQ1 完全なトランスフォーマー基盤アーキテクチャは、大腸癌組織画像からのバイオマーカー予測において、最先端のCNNベースのモデルを上回ることができるか？
• RQ2 手術的切除標本のみでトレーニングしたモデルが、内視鏡生検組織に対しても堅牢な予測を可能にするか？
• RQ3 大規模かつ多施設のトレーニングコホートは、モデルの汎化性能とデータ効率性をどの程度向上させるか？
• RQ4 トランスフォーマー基盤のアプローチは、大腸癌におけるMSI予測で臨床的水準のパフォーマンスを達成できるか？
• RQ5 本モデルの解釈可能性は、病理学分野における既存のディープラーニング手法と比較してどの程度優れているか？

主な発見

• 完全なトランスフォーマー基盤パイプラインは、手術的切除標本におけるマイクロサテライト不安定性（MSI）予測で感度0.97、ネガティブ予測値0.99を達成した。
• モデルは、切除標本でのみトレーニングされたにもかかわらず、内視鏡生検組織に対しても効果的に一般化し、臨床的水準のパフォーマンスを示した。
• 最先端のCNNベースのモデルと比較して、優れたパフォーマンス、汎化性能、データ効率性、解釈可能性を示した。
• 多様な多施設データセットにおいても高いパフォーマンスを維持したため、施設間のばらつきに対して強い耐性を示した。
• 本手法は、10の独立した大腸癌コホートから9,000例を超える患者を用いて検証され、臨床的意義を高めた。
• 完全にトレーニングされたモデルは、オープンソースライセンスのもとで公開され、臨床統合および今後の研究を促進する。

Figure 2: Evaluation of the prediction performance for the biomarkers MSI, BRAF, and KRAS in single-cohort and large-scale multi-centric experiments. Experimental results for MSI-H (a-c), BRAF (d,e), and KRAS (f,g) prediction: a) AUROC scores for single cohort experiments for all CRC cohorts ordered