[論文レビュー] Towards Explainable End-to-End Prostate Cancer Relapse Prediction from H&E Images Combining Self-Attention Multiple Instance Learning with a Recurrent Neural Network

Esther Dietrich, Patrick Fuhlert+6 more|arXiv (Cornell University)|Nov 26, 2021

AI in cancer detection参考文献 39被引用数 7

ひとこと要約

本論文では、H&E染色された全スライド画像から、再発までの時間のみを教師として用いることで前立腺がんの再発を予測する解釈可能なディープラーニングモデル、eCaReNetを提案する。自己注意メカニズムを用いた複数インスタンス学習とゲート付き再帰型ネットワークを組み合わせることで、検証AUCが0.78に達し、専門医の病理学者と同等の性能を発揮するとともに、注目重みを用いて悪性組織領域を強調することで解釈可能性を実現した。

ABSTRACT

Clinical decision support for histopathology image data mainly focuses on strongly supervised annotations, which offers intuitive interpretability, but is bound by expert performance. Here, we propose an explainable cancer relapse prediction network (eCaReNet) and show that end-to-end learning without strong annotations offers state-of-the-art performance while interpretability can be included through an attention mechanism. On the use case of prostate cancer survival prediction, using 14,479 images and only relapse times as annotations, we reach a cumulative dynamic AUC of 0.78 on a validation set, being on par with an expert pathologist (and an AUC of 0.77 on a separate test set). Our model is well-calibrated and outputs survival curves as well as a risk score and group per patient. Making use of the attention weights of a multiple instance learning layer, we show that malignant patches have a higher influence on the prediction than benign patches, thus offering an intuitive interpretation of the prediction. Our code is available at www.github.com/imsb-uke/ecarenet.

研究の動機と目的

• 再発までの時間のラベルのみを必要とするエンドツーエンドのディープラーニングモデルを構築し、専門家がラベル付けした組織領域を必要としないこと。
• 注目メカニズムを活用して生物学的に関連する組織領域を強調することで、エンドツーエンドモデルに解釈可能性を統合すること。
• 全前立腺スライド画像の完全なラベル付けを必要とせずに、生存予測性能を専門医の病理学者のスコア（例：ISUP）と同等にすることを示すこと。
• 悪性パッチが良性パッチよりも高い注目重みを受けることで、モデルの解釈可能性を検証すること。

提案手法

• モデルは、全スライド画像から予測に寄与する最も重要な画像パッチを特定するために、自己注意メカニズムを用いた複数インスタンス学習（MIL）フレームワークを採用する。
• ゲート付き再帰型ネットワーク（GRU）は、注目重みを付けたパッチを時間経過に伴って処理し、生存トレースをモデル化する。
• モデルは、グレースングレーディングなどの強力なアノテーション（例：Gleasonスコア）を必要とせず、生化学的再発までの時間（BCR）のみを教師としてエンドツーエンドで学習する。
• MIL層からの注目重みを用いて、予測結果に最も影響を与える組織領域を特定することで、モデルの解釈可能性を実現する。
• モデルは患者ごとの生存曲線、リスクスコア、リスクグループを出力し、臨床意思決定支援を可能にする。
• アブレーションスタディおよび合成データセットと実データセットを用いた実験により、モデルの性能と注目メカニズムに基づく解釈可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 時間までの再発のみを教師として用いることで、専門家がラベル付けした組織領域を一切必要とせずに、前立腺がん再発予測で最先端の性能を達成できるか？
• RQ2 複数インスタンス学習フレームワーク内での注目メカニズムが、悪性組織領域を強調することで臨床的に解釈可能な説明を提供できるか？
• RQ3 再発までの時間のラベルのみで学習されたエンドツーエンドモデルの性能は、専門家がラベル付けしたISUPグレーディングと比較してどうか？
• RQ4 モデル内の注目重みは、専門家がマークした病理学的に関連する領域（例：腫瘍領域）と相関しているか？
• RQ5 モデルは、censoredケースを含むさまざまなデータ分割に対して、適切にキャリブレーションされ、頑健か？

主な発見

• 検証セットでは累積動的AUCが0.78、テストセットでは0.77を達成し、ISUPグレーディングを用いた専門医の病理学者と同等の性能を示した。
• モデルは良好にキャリブレーションされており、時間の経過に伴う信頼性の高い生存確率推定を提供した。
• 既知のパッチアノテーションを持つ合成データセットでは、悪性パッチの注目重みが良性パッチよりも顕著に高かった（p < 0.01）。
• 実際の患者画像では、注目重みが最も高いすべてのパッチが、専門家がラベル付けした腫瘍領域内に位置しており、モデルが関連する病理学的領域に注目していることを確認した。
• テストセットにおいて腫瘍とマークされたパッチは、非腫瘍パッチよりも顕著に高い注目重みを示し、臨床診断と整合した。
• アブレーション変種を用いた実験では、異なる注目メカニズムを用いてもAUCが0.74から0.76の範囲に留まり、モデルの汎用性が優れていることが示された。