[論文レビュー] Uncertainty-Informed Deep Learning Models Enable High-Confidence Predictions for Digital Histopathology

James M. Dolezal, Andrew Srisuwananukorn+14 more|arXiv (Cornell University)|Apr 9, 2022

AI in cancer detection被引用数 5

ひとこと要約

本論文は、ドロップアウトに基づく不確実性推定とデータ駆動型信頼性しきい値を用いた、デジタルヒストパスロジーにおける不確実性評価（UQ）フレームワークを提案する。高信頼性予測—UQを用いてフィルタリングされたもの—が、肺アデノカチノーマと扁平上皮細胞癌の分類において、複数のデータセット、包括して分布外の非肺がんスライドを含む、実世界の展開条件下でも標準モデルを上回る高い正確性を示した。

ABSTRACT

A model's ability to express its own predictive uncertainty is an essential attribute for maintaining clinical user confidence as computational biomarkers are deployed into real-world medical settings. In the domain of cancer digital histopathology, we describe a novel, clinically-oriented approach to uncertainty quantification (UQ) for whole-slide images, estimating uncertainty using dropout and calculating thresholds on training data to establish cutoffs for low- and high-confidence predictions. We train models to identify lung adenocarcinoma vs. squamous cell carcinoma and show that high-confidence predictions outperform predictions without UQ, in both cross-validation and testing on two large external datasets spanning multiple institutions. Our testing strategy closely approximates real-world application, with predictions generated on unsupervised, unannotated slides using predetermined thresholds. Furthermore, we show that UQ thresholding remains reliable in the setting of domain shift, with accurate high-confidence predictions of adenocarcinoma vs. squamous cell carcinoma for out-of-distribution, non-lung cancer cohorts.

研究の動機と目的

• 深層学習モデルのデジタルヒストパスロジー分野における臨床的解釈可能な不確実性評価（UQ）手法の開発。
• データ駆動型しきい値を用いて、不確実な出力を特定・フィルタリングすることで高信頼性予測を可能にすること。
• ドメインシフトや分布外データを含む実世界の展開条件下でのモデル性能の評価。
• モデルが自らの予測不確実性を表現できるようにすることで、臨床的信頼を確保すること。
• 複数の機関および外部データセットにおいて、UQベースの予測の頑健性を検証すること。

提案手法

• 本手法は、全スライド画像で訓練された畳み込みニューラルネットワークにおける予測不確実性を推定するためにモンテカルロドロップアウトを採用する。
• 予測を低・中・高信頼性に分類するための不確実性しきい値は、検証セットを用いて訓練中に決定される。
• 訓練データの不確実性分布から導出された事前定義されたカットオフ値を用いて、高信頼性予測が選別される。
• 固定されたしきい値を用いて、教師なし・アノテーションなしの全スライド画像に対してモデルを評価し、実世界の展開を模擬する。
• 一般化性と頑健性を評価するため、複数の機関から得た2つの大規模外部データセットでアプローチをテストする。
• ドメインシフトの頑健性は、非肺がん全スライド画像を用いて評価され、分布外性能のテストが行われる。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトに基づく不確実性推定は、デジタルヒストパスロジーにおいて高信頼性予測を信頼性を持って同定できるか？
• RQ2 UQフィルタリング予測は、外部データセットにおいて標準的な深層学習モデルと比較して、正確性と信頼性の面で優れているか？
• RQ3 UQしきい値戦略は、非肺がん全スライド画像に適用された場合のようなドメインシフト下でも性能を維持するか？
• RQ4 本手法は、テストスライドに追加のアノテーションを必要とせずに、臨床的に信頼できる予測を生成できるか？
• RQ5 高信頼性予測の性能は、多様な機関のデータソースにおいて安定しているか？

主な発見

• UQしきい値を用いてフィルタリングされた高信頼性予測は、交差検証および外部テストにおいて、標準モデルの予測よりも顕著に高い正確性を達成した。
• UQベースのモデルは、2つの大規模かつ多機関にまたがる外部データセットでも高い性能を維持し、優れた一般化性を示した。
• 本手法は、非肺がん全スライド画像に対しても正確な高信頼性予測を生成し、ドメインシフトに対する頑健性を示した。
• 固定されたデータ駆動型しきい値の使用により、教師なし・アノテーションなしスライドへの信頼性の高い展開が可能となり、実際の臨床応用をよく模倣した。
• モデルが不確実性を表現できる能力により、低信頼性で誤りの可能性のある予測に依存するのを減らし、臨床的信頼が向上した。
• 結果として、同じテストデータに適用された場合でも、不確実性を考慮したモデルが標準モデルを上回ることを示した。