[論文レビュー] MHAttnSurv: Multi-Head Attention for Survival Prediction Using Whole-Slide Pathology Images

Shuai Jiang, Arief A. Suriawinata+1 more|arXiv (Cornell University)|Oct 22, 2021

AI in cancer detection参考文献 44被引用数 4

ひとこと要約

MHAttnSurvは、全スライド病理画像（WSIs）からの生存予測を向上させるために、腫瘍スライド全体の多様な形態的パターンに注目したマルチヘッドアテンション機構を提案する。4つのTCGAがん種で評価された結果、c-indexが0.640を達成し、先行する最先端手法のc-index 0.603および0.619を上回った。

ABSTRACT

In pathology, whole-slide images (WSI) based survival prediction has attracted increasing interest. However, given the large size of WSIs and the lack of pathologist annotations, extracting the prognostic information from WSIs remains a challenging task. Previous studies have used multiple instance learning approaches to combine the information from multiple randomly sampled patches, but different visual patterns may contribute differently to prognosis prediction. In this study, we developed a multi-head attention approach to focus on various parts of a tumor slide, for more comprehensive information extraction from WSIs. We evaluated our approach on four cancer types from The Cancer Genome Atlas database. Our model achieved an average c-index of 0.640, outperforming two existing state-of-the-art approaches for WSI-based survival prediction, which have an average c-index of 0.603 and 0.619 on these datasets. Visualization of our attention maps reveals each attention head focuses synergistically on different morphological patterns.

研究の動機と目的

• 病理学的全スライド画像（WSIs）から予後情報を抽出する課題に対処すること。
• 複数インスタンス学習におけるランダムなパッチ抽出の限界を克服し、生物学的に意味のある形態的パターンに注目すること。
• 多様なWSI領域に適応的に注目することで、包括的な特徴表現を実現する深層学習モデルの開発。
• アテンション機構を用いることで、既存のWSIベースのアプローチを凌駕する生存予測性能の向上。
• 生存予測の意思決定プロセスを解釈可能にするために、アテンションマップを提供すること。

提案手法

• 全スライド画像（WSIs）から抽出されたパッチレベル特徴量にマルチヘッドアテンション機構を適用し、動的でアテンション重み付きの表現を学習する。
• パッチ特徴量は、WSIsからのランダムなクロップに事前学習済みの畳み込みニューラルネットワーク（例：ResNet）を適用することで抽出される。
• アテンション機構は、パッチ間でクエリ、キー、バリュー行列を計算し、関連する空間的パターンに注目できるようにする。
• 複数のアテンションヘッドにより、腫瘍細胞、ストーマ、壊死など、異なる形態的パターンを並列で注目できる。
• グローバルプーリング層が注目された特徴量をアグリゲートし、その後、全結合層を経て生存予測結果を出力する。
• 生存予測の最適化を目的として、コックス比例ハザード損失を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 マルチヘッドアテンション機構は、生存予測のための全スライド画像内の多様な形態的パターンを効果的に特定・優先できるか？
• RQ2 WSIベースの生存モデリングにおいて、アテンションベースの特徴量集約は、ランダムパッチ抽出やグローバル平均プーリングと比較してどのように優れているか？
• RQ3 個々のアテンションヘッドが、WSI内の生物学的に意味のある組織構造にどれほど集中しているか？
• RQ4 提案されたアテンション機構は、既存の最先端のWSI生存モデルと比較してc-index性能を向上させることができるか？
• RQ5 アテンションマップは、生存予測の意思決定プロセスに対する解釈可能なインサイトを提供できるか？

主な発見

• MHAttnSurvは、The Cancer Genome Atlas（TCGA）の4つのがん種において平均c-index 0.640を達成し、c-index 0.603および0.619を示した2つの最先端手法を上回った。
• アテンションマップの可視化により、異なるアテンションヘッドが腫瘍細胞集団、ストーマ領域、壊死領域など、異なる形態的パターンに注目していることが明らかになった。
• モデルは、1つのパッチやグローバル平均に依存するのではなく、複数の関連する組織領域に注目することで、より高い耐性と汎用性を示した。
• アテンション機構により、病理学的に関連する構造が明確に強調されたため、より解釈可能な予測が可能になった。
• 性能向上は、評価された4つのすべてのがん種で一貫しており、本手法の広範な適用可能性が示された。
• 結果から、マルチヘッドアテンションはWSI内の異質な予後特徴を効果的に捉えることができ、より良い生存予測を実現することが示唆された。