[論文レビュー] TPMIL: Trainable Prototype Enhanced Multiple Instance Learning for Whole Slide Image Classification

Litao Yang, Deval Mehta+4 more|arXiv (Cornell University)|May 1, 2023

AI in cancer detection被引用数 4

ひとこと要約

TPMILは、全パッチ埋め込みのソフトクラスタリングを用いて特徴空間を精錬し、プロトタイプ距離による解釈可能性を向上させることで、弱教師付きwhole slide image (WSI)分類のためのトレーナブルなプロトタイプ強化型複数インスタンス学習フレームワークを提案する。2つのWSIデータセットにおいて最先端の性能を達成し、CLAM や DGMIL といった先行手法よりもAUCおよび正答率で優れている。

ABSTRACT

Digital pathology based on whole slide images (WSIs) plays a key role in cancer diagnosis and clinical practice. Due to the high resolution of the WSI and the unavailability of patch-level annotations, WSI classification is usually formulated as a weakly supervised problem, which relies on multiple instance learning (MIL) based on patches of a WSI. In this paper, we aim to learn an optimal patch-level feature space by integrating prototype learning with MIL. To this end, we develop a Trainable Prototype enhanced deep MIL (TPMIL) framework for weakly supervised WSI classification. In contrast to the conventional methods which rely on a certain number of selected patches for feature space refinement, we softly cluster all the instances by allocating them to their corresponding prototypes. Additionally, our method is able to reveal the correlations between different tumor subtypes through distances between corresponding trained prototypes. More importantly, TPMIL also enables to provide a more accurate interpretability based on the distance of the instances from the trained prototypes which serves as an alternative to the conventional attention score-based interpretability. We test our method on two WSI datasets and it achieves a new SOTA. GitHub repository: https://github.com/LitaoYang-Jet/TPMIL

研究の動機と目的

• 高解像度とパッチレベルのアノテーション不足による弱教師付きwhole slide image (WSI)分類の課題に対処すること。
• 極端なパッチに依存するのではなく、すべてのインスタンス埋め込みを活用することで特徴空間表現を向上させること。
• 注目度スコアを越えた解釈可能性を向上させるために、プロトタイプ距離に基づく可視化を導入すること。
• 学習されたプロトタイプ距離を通じて腫瘍亜型間の相関をモデル化すること。
• 特徴学習とプロトタイプ精錬を統合的に最適化するトレーナブルでエンドツーエンドのフレームワークを構築すること。

提案手法

• すべてのパッチ埋め込みを対応するプロトタイプに割り当てるソフトクラスタリングを実行するトレーナブルなプロトタイプ強化型MILフレームワーク（TPMIL）を導入する。
• すべてのインスタンス特徴の分布に基づいてプロトタイプ中心を更新する微分可能プロトタイプ学習メカニズムを用い、グローバルな特徴空間精錬を可能にする。
• パッチの解釈可能性が予測クラスの最近傍プロトタイプとのL2距離によって決定されるプロトタイプベースの注目度メカニズムを採用する。
• 正常組織、血管、アーティファクトなどの診断的でない領域を捉えるためにネガティブプロトタイプを導入する。
• スライドレベルのラベルを用いてエンドツーエンドで学習し、特徴抽出器、プロトタイプ中心、分類器を統合的に最適化する。
• 従来の注目度スコアの代わりに、より頑健で解釈可能な臨床的可視化を実現するため、プロトタイプ距離ヒートマップを導入する。

Figure 1: Overview of TPMIL. The key novelty of our proposed framework is the integration of Prototype Learning Module for learning an optimal distribution of instances.

実験結果

リサーチクエスチョン

• RQ1 極端なパッチに依存するのではなく、すべてのパッチ埋め込みを考慮するプロトタイプベースのアプローチが、極端なパッチに依存する手法と比較して、弱教師付きWSI分類における特徴空間表現を改善できるか？
• RQ2 学習されたプロトタイプ距離は、WSIにおける生物学的腫瘍亜型および形態的差異とどのように相関するか？
• RQ3 プロトタイプ距離に基づくヒートマップは、注目度スコアに基づくヒートマップと比較して、より頑健で臨床的信頼性の高い解釈可能性を提供できるか？
• RQ4 提案手法は、多クラス分類のベンチマークWSIデータセットで最先端の性能を達成できるか？
• RQ5 相互プロトタイプ距離を用いて、このフレームワークは腫瘍亜型を効果的に区別できるか？

主な発見

• TPMILはTCGA脳腫瘍データセットで新たな最先端（SOTA）性能を達成し、CLAMと比較してAUCが0.24%高く、正答率が1.54%高い。
• TCGA肺がんデータセットでは、TPMILはCLAMと比較してAUCが0.11%高く、正答率が1.41%高い。これは一貫したSOTA性能を示している。
• 相互プロトタイプ距離行列から、ACM（好細胞性アストロサイトーマ）とODG（オリゴデンドログリオサイトーマ）はGBM（膠芽腫）よりも互いに近く、両者とも低悪性度グリオーマとしての共通性を示している。
• ネガティブプロトタイプはGBMよりもACMおよびODGに近い位置にあり、GBMの形態的多様性とより高い病理的複雑性が、正常に近い領域とは明確に異なることを示している。
• TPMILの距離ベースヒートマップは、特に膠芽腫における壊死性領域を強調する際、アーティファクトやバックグラウンドノイズに対して注目度スコアヒートマップよりも優れた頑健性を示している。
• 専門医が確認したところ、プロトタイプ距離ヒートマップは注目度ベースのヒートマップと比較して、より信頼性が高く臨床的解釈可能な可視化を提供していることが判明した。特に、診断的特徴とアーティファクトを区別する際に優れている。

Figure 2: The distance matrix of TCGA Brain Tumor prototypes after training