[論文レビュー] TransMIL: Transformer based Correlated Multiple Instance Learning for Whole Slide Image Classication

Zhuchen Shao, Hao Bian+5 more|arXiv (Cornell University)|Jun 2, 2021

AI in cancer detection参考文献 38被引用数 26

ひとこと要約

TransMIL は、全スライド画像 (WSIs) のパッチ間の空間的および形態的相関をモデル化する、Transformerに依存する相関的多重インスタンス学習フレームワークを提案する。これにより、より高速な収束と向上した解釈可能性を実現し、二値腫瘍分類において CAMELYON16 で 93.09% AUC、がん亜型分類において TCGA-RCC で最大 98.82% AUC の最先端の性能を達成した。

ABSTRACT

Multiple instance learning (MIL) is a powerful tool to solve the weakly supervised classification in whole slide image (WSI) based pathology diagnosis. However, the current MIL methods are usually based on independent and identical distribution hypothesis, thus neglect the correlation among different instances. To address this problem, we proposed a new framework, called correlated MIL, and provided a proof for convergence. Based on this framework, we devised a Transformer based MIL (TransMIL), which explored both morphological and spatial information. The proposed TransMIL can effectively deal with unbalanced/balanced and binary/multiple classification with great visualization and interpretability. We conducted various experiments for three different computational pathology problems and achieved better performance and faster convergence compared with state-of-the-art methods. The test AUC for the binary tumor classification can be up to 93.09% over CAMELYON16 dataset. And the AUC over the cancer subtypes classification can be up to 96.03% and 98.82% over TCGA-NSCLC dataset and TCGA-RCC dataset, respectively.

研究の動機と目的

• 既存の MIL 法の i.i.d. なインスタンスを仮定する制限を克服するため、全スライド画像内のパッチ間の相関をモデル化すること。
• WSI における形態的および空間的関係を効果的に捉える弱教師付き学習フレームワークを開発すること。
• 不均衡で多クラスの WSI データセットにおいて分類性能を向上させつつ、高い解釈性を維持すること。
• 提案された相関的 MIL フレームワークの収束に関する理論的証明を提供すること。

提案手法

• i.i.d. 仮定を構造的アテンションに置き換えることで、インスタンスパッチ間の依存関係をモデル化する相関的 MIL フレームワークを導入する。
• WSI 内の複数のパッチインスタンスにわたる長距離の空間的および形態的依存関係を捉えるために、Transformerエンコーダを採用する。
• パッチレベルの特徴をグローバル画像レベルの表現に集約するために、学習可能なクラストークンとマルチヘッド自己注意メカニズムを適用する。
• 弱教師付きラベルでエンドツーエンドの学習が可能なように、グローバル平均プーリング層に続く分類器ヘッドを用いる。
• パッチ埋め込みにおける空間的コンテキストを保持するために、位置エンコーディングを組み込む。
• 提案された相関的 MIL フレームワークの収束に関する理論的証明を提供する。

実験結果

リサーチクエスチョン

• RQ1 WSI におけるインスタンスの相関をモデル化することで、標準的な MIL 法に比べて分類性能が向上するか？
• RQ2 Transformerに依存するアテンションメカニズムは、弱教師付き WSI 分類における特徴表現学習をどのように向上させるか？
• RQ3 提案手法は、病理的画像解析における注意マップの解釈性および可視化をどの程度向上させるか？
• RQ4 相関的 MIL フレームワークは理論的保証のもとで収束するのか？また、既存手法と比較して訓練安定性はどのように異なるか？

主な発見

• TransMIL は、CAMELYON16 データセットにおける二値腫瘍分類で 93.09% AUC を達成し、最先端の手法を上回った。
• TCGA-NSCLC データセットでは、がん亜型分類で 96.03% AUC を達成し、多クラス問題においても優れた性能を示した。
• TCGA-RCC データセットでは、98.82% AUC を達成し、複雑な腎がん亜型分類タスクにおいて優れた性能を示した。
• 従来の MIL アプローチと比較して、バランスの取れたデータセットおよび不均衡なデータセットの両方で、より高速な収束と優れた一般化性能を示した。
• TransMIL が生成した注意マップは高い解釈性を示し、WSI 内の関連のある腫瘍領域を明確に局在化していた。