[論文レビュー] Multi-head Attention-based Deep Multiple Instance Learning

Hassan Keshvarikhojasteh, Josien P. W. Pluim+1 more|arXiv (Cornell University)|Apr 8, 2024

Industrial Vision Systems and Defect Detection被引用数 5

ひとこと要約

MAD-MIL は、弱教師あり全スライド画像分類のためのマルチヘッドアテンションベースの深層 MIL モデルを導入し、最先端モデルよりパラメータ数が少ない状態で競争力のある結果を達成します。

ABSTRACT

This paper introduces MAD-MIL, a Multi-head Attention-based Deep Multiple Instance Learning model, designed for weakly supervised Whole Slide Images (WSIs) classification in digital pathology. Inspired by the multi-head attention mechanism of the Transformer, MAD-MIL simplifies model complexity while achieving competitive results against advanced models like CLAM and DS-MIL. Evaluated on the MNIST-BAGS and public datasets, including TUPAC16, TCGA BRCA, TCGA LUNG, and TCGA KIDNEY, MAD-MIL consistently outperforms ABMIL. This demonstrates enhanced information diversity, interpretability, and efficiency in slide representation. The model's effectiveness, coupled with fewer trainable parameters and lower computational complexity makes it a promising solution for automated pathology workflows. Our code is available at https://github.com/tueimage/MAD-MIL.

研究の動機と目的

• デジタル病理学における弱教師あり全スライド画像（WSI）分類の課題に対処する。
• Transformer の注意機構に触発された多頭注意ベースの深層 MIL（MAD-MIL）モデルを提案する。
• モデルの複雑さを簡素化しつつ、性能を維持または向上させる。
• MAD-MIL を複数のデータセット上で最先端 MIL アプローチと比較評価し、性能・解釈性・効率性を評価する。

提案手法

• WSI データの深層 MIL モデルを形成するためにマルチヘッド注意機構を採用する。
• スライド内のインスタンス情報を注意機構で集約し、多様で有益な表現を可能にする。
• ABMIL および他の MIL アプローチ（例：CLAM と DS-MIL）と比較して性能向上を評価する。
• MNIST-BAGS および公開データセット（TUPAC16、TCGA BRCA、TCGA LUNG、TCGA KIDNEY）で評価する。
• 学習可能パラメータを削減し、計算量を抑えつつ競争力のある結果を示す。
• アプローチを再現するためのコードを公開している。

実験結果

リサーチクエスチョン

• RQ1 MAD-MIL は弱教師あり WS I 分類で ABMIL を上回ることができるか。
• RQ2 MAD-MIL は CLAM や DS-MIL のような最先端 MIL 手法と標準データセットでどのように比較されるか。
• RQ3 マルチヘッド注意設計はスライド表現の情報多様性と解釈性を向上させるか。
• RQ4 MAD-MIL は精度を維持しつつパラメータ効率と計算負荷を低くできるか。

主な発見

• MAD-MIL は評価データセットで一貫して ABMIL を上回る。
• MAD-MIL は CLAM や DS-MIL などの高度なモデルと競争力のある結果を達成する。
• 本手法はスライド表現の情報多様性と解釈性を高める。
• MAD-MIL は学習可能パラメータを少なく抑え、計算量も低くなる。
• 著者は再現性のための公開コードを提供している。