[논문 리뷰] Multi-head Attention-based Deep Multiple Instance Learning

Hassan Keshvarikhojasteh, Josien P. W. Pluim외 1명|arXiv (Cornell University)|2024. 04. 08.

Industrial Vision Systems and Defect Detection인용 수 5

한 줄 요약

MAD-MIL은 약하게 지도된 전체 슬라이드 이미지(WSI) 분류를 위한 다중 헤드 어텐션 기반의 심층 MIL 모델을 도입하고, 선도 모델들보다 매개변수 수가 적으면서 경쟁력 있는 성능을 달성합니다.

ABSTRACT

This paper introduces MAD-MIL, a Multi-head Attention-based Deep Multiple Instance Learning model, designed for weakly supervised Whole Slide Images (WSIs) classification in digital pathology. Inspired by the multi-head attention mechanism of the Transformer, MAD-MIL simplifies model complexity while achieving competitive results against advanced models like CLAM and DS-MIL. Evaluated on the MNIST-BAGS and public datasets, including TUPAC16, TCGA BRCA, TCGA LUNG, and TCGA KIDNEY, MAD-MIL consistently outperforms ABMIL. This demonstrates enhanced information diversity, interpretability, and efficiency in slide representation. The model's effectiveness, coupled with fewer trainable parameters and lower computational complexity makes it a promising solution for automated pathology workflows. Our code is available at https://github.com/tueimage/MAD-MIL.

연구 동기 및 목표

• 디지털 병리에서 약하게 지도된 전체 슬라이드 이미지(WSI) 분류의 도전 과제 다루기.
• Transformer 주의 메커니즘에서 영감을 받은 다중 헤드 어텐션 기반 심층 MIL(MAD-MIL) 모델 제안.
• 성능을 유지하거나 향상시키면서 모델 복잡성 단순화.
• MAD-MIL을 다수의 데이터셋에서 최첨단 MIL 접근법과 비교 평가하여 성능, 해석가능성, 효율성 평가.

제안 방법

• WSI 데이터용 심층 MIL 모델을 구축하기 위해 다중 헤드 어텐션 메커니즘을 채택합니다.
• 어텐션을 활용하여 슬라이드 내 인스턴스 정보를 집계하고, 다양하고 정보적인 표현을 가능하게 합니다.
• ABMIL 및 다른 MIL 접근법(CLAM, DS-MIL 등)과 비교하여 성능 향상 여부를 평가합니다.
• MNIST-BAGS 및 공개 데이터셋(TUPAC16, TCGA BRCA, TCGA LUNG, TCGA KIDNEY)에서 평가합니다.
• 경쟁력 있는 결과를 보여주면서 학습 가능한 매개변수를 감소시키고 계산 복잡성을 낮춤을 증명합니다.
• 이 방법을 재현하기 위해 코드가 공개되어 있습니다.

실험 결과

연구 질문

• RQ1 MAD-MIL이 약하게 지도된 WSI 분류에서 ABMIL을 능가할 수 있는가?
• RQ2 MAD-MIL은 표준 데이터셋에서 CLAM 및 DS-MIL과 같은 최첨단 MIL 방법과 어떻게 비교되는가?
• RQ3 다중 헤드 어텐션 설계가 슬라이드 표현의 정보 다양성과 해석가능성을 향상시키는가?
• RQ4 정확도를 유지하면서 MAD-MIL이 매개변수 효율성과 계산 경량화를 달성하는가?

주요 결과

• MAD-MIL은 평가 데이터셋에서 일관되게 ABMIL을 능가합니다.
• MAD-MIL은 CLAM 및 DS-MIL과 같은 고급 모델에 비해 경쟁력 있는 결과를 얻습니다.
• 이 방법은 슬라이드 표현의 정보 다양성과 해석가능성을 향상시킵니다.
• MAD-MIL은 학습 가능한 매개변수를 더 적게 사용하고 계산 복잡성이 더 낮습니다.
• 저자들은 재현성을 위한 공개 코드를 제공합니다.