[論文レビュー] Diagnose Like a Pathologist: Transformer-Enabled Hierarchical Attention-Guided Multiple Instance Learning for Whole Slide Image Classification

Conghao Xiong, Hao Chen+2 more|arXiv (Cornell University)|Jan 19, 2023

AI in cancer detection被引用数 4

ひとこと要約

本稿では、病理医のマルチスケールで注意を向けた診断を模倣する、トランスフォーマーに基づく階層的アテンション誘導型複数インスタンス学習フレームワーク、HAG-MILを提案する。このフレームワークは、複数のWSI解像度において動的に判別的領域を同定することで、病理医に似たマルチスケールで注意を向けた診断を実現する。統合アテンショントランスフォーマーと、包括的なバッグ表現学習のための新規アグリゲーションモジュールを用いることで、Camelyon16、TCGA-RCC、TCGA-NSCLC、および自社内データセットにおいて最先端の性能を達成した。

ABSTRACT

Multiple Instance Learning (MIL) and transformers are increasingly popular in histopathology Whole Slide Image (WSI) classification. However, unlike human pathologists who selectively observe specific regions of histopathology tissues under different magnifications, most methods do not incorporate multiple resolutions of the WSIs, hierarchically and attentively, thereby leading to a loss of focus on the WSIs and information from other resolutions. To resolve this issue, we propose a Hierarchical Attention-Guided Multiple Instance Learning framework to fully exploit the WSIs. This framework can dynamically and attentively discover the discriminative regions across multiple resolutions of the WSIs. Within this framework, an Integrated Attention Transformer is proposed to further enhance the performance of the transformer and obtain a more holistic WSI (bag) representation. This transformer consists of multiple Integrated Attention Modules, which is the combination of a transformer layer and an aggregation module that produces a bag representation based on every instance representation in that bag. The experimental results show that our method achieved state-of-the-art performances on multiple datasets, including Camelyon16, TCGA-RCC, TCGA-NSCLC, and an in-house IMGC dataset. The code is available at https://github.com/BearCleverProud/HAG-MIL.

研究の動機と目的

• 既存のWSI分類手法が、病理医が戦略的に倍率を切り替えるのとは異なり、ヒストパスロジー・スライドの複数解像度を活用できないという限界に対処すること。
• 複数解像度にわたる動的で階層的なアテンションを可能にすることで、弱い教師信号を用いたWSI分類を改善し、判別的パッチをより効果的に特定すること。
• 層間でインスタンスレベルの特徴をアグリゲートするアテンション機構を統合することで、トランスフォーマーに基づくバッグ表現学習を強化し、モデルの頑健性と解釈可能性を向上させること。
• 複数解像度の特徴統合によるアテンション局在の精錬を通じて、微小転移（例：マイクロ転移）の検出を向上させ、誤検出を低減すること。

提案手法

• HAG-MILフレームワークは、複数の解像度（例：40×、10×）でWSIを処理し、階層的アテンションを各レベルにわたって実現することで、病理医に似た点検を模倣する。
• 統合アテンショントランスフォーマー（IAT）を提案し、複数のトランスフォーマー層と、インスタンス表現を包括的なバッグ表現にアグリゲートする統合アテンションモジュール（IAM）を統合する。
• 各IAM層はパッチ間のアテンションスコアを計算し、洗練されたバッグレベル表現を生成し、深層部へと段階的に更新される。
• 微分可能なアテンション機構を用いることで、全ネットワークをバックプロパゲーション可能にし、スライドレベルのラベルでのエンド・ツー・エンド学習を可能にする。
• アグリゲーションモジュールは、標準的またはゲート付きアテンションを用い、インスタンスの重要性を重みづけする。アブレーションスタディではゲート付きバージョンが優れた性能を示した。
• モデルは弱い教師信号学習を用い、スライドレベルのラベルのみで学習され、推論時にトップ-kアテンションパッチの動的調整が可能である。

Figure 1: An illustration of the difference between AB-MIL and the HAG-MIL framework. AB-MIL (left) only uses one resolution of the WSI, whereas the HAG-MIL framework (right) hierarchically and attentively uses multiple resolutions of the WSI. The high-attention regions are passed to the models at h

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、病理医の診断行動を模倣するように、WSIの複数解像度を効果的に活用し、分類精度を向上させることができるか？
• RQ2 単一解像度手法と比較して、複数解像度にわたる階層的アテンションは、特に微小転移のような判別的パッチの局在をどのように向上させるか？
• RQ3 多層アテンションアグリゲーション機構を統合することで、WSIの複数インスタンス学習におけるバッグ表現の質はどの程度向上するか？
• RQ4 提案された統合アテンショントランスフォーマーは、AUCおよびヒートマップの解釈可能性の観点から、標準的トランスフォーマーやアテンションベースのMILモデルを上回るか？

主な発見

• HAG-MILは、Camelyon16（0.985）、TCGA-RCC（0.912）、TCGA-NSCLC（0.891）、および自社内IMGCデータセット（0.934）で最先端のAUCスコアを達成し、既存手法を上回った。
• アグリゲーションモジュールにおけるゲート付きアテンションは、Camelyon16とTCGA-RCCでそれぞれ標準アテンションと比較してAUCを1.8%および1.2%向上させた。
• IATモデルは、同じデータセットで標準的なクラストークンベースのトランスフォーマーと比較して、AUCで1.7%および1.1%の向上を示し、多層アグリゲーションの有効性を裏付けた。
• 可視化結果から、HAG-MILは微小転移や孤立腫瘍細胞に対して、よりコントラストが高く、正解アノテーションと整合性の高いヒートマップを生成した。
• 推論時にトップ-kアテンション閾値を引き上げることで、腫瘍領域が小さく希釈されているCamelyon16においても性能が向上した。
• CLAM-SBと比較して、特に腫瘍負荷が低い領域で誤検出を顕著に低減し、優れた判別的パッチ選択を示した。

Figure 2: Overview of the HAG-MIL framework (left) and the model architecture of our proposed transformer model IAT (right). The patch images and the feature vectors bounded by red boxes are the discriminative ones and those in blue are less discriminative. The patch images cropped from different re