[논문 리뷰] Rethinking Attention-Based Multiple Instance Learning for Whole-Slide Pathological Image Classification: An Instance Attribute Viewpoint

Linghan Cai, Shenjin Huang외 3명|arXiv (Cornell University)|2024. 03. 30.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 전체 슬라이드 이미지(WSI) 분류를 위한 새로운 다중 인스턴스 학습(MIL) 프레임워크인 속성 기반 MIL(AttriMIL)을 제안한다. 이는 신뢰할 수 없는 어텐션 점수를 대체하여 유연한 속성 점수 기반 메커니즘을 도입하여 각 인스턴스의 기여도를 보다 정확히 정량화한다. 내부 및 외부 슬라이드 간의 인스턴스 상관관계를 모델링하기 위해 공간적 제약과 순서 제약을 도입함으로써, AttriMIL은 조직 분류 능력과 종양 국소화 성능을 향상시켰으며, 세 가지 공개 벤치마크에서 최신 기술(SOTA)을 초월하며 해석 가능성과 OOD(외부 분포) 탐지 능력이 향상되었다.

ABSTRACT

Multiple instance learning (MIL) is a robust paradigm for whole-slide pathological image (WSI) analysis, processing gigapixel-resolution images with slide-level labels. As pioneering efforts, attention-based MIL (ABMIL) and its variants are increasingly becoming popular due to the characteristics of simultaneously handling clinical diagnosis and tumor localization. However, the attention mechanism exhibits limitations in discriminating between instances, which often misclassifies tissues and potentially impairs MIL performance. This paper proposes an Attribute-Driven MIL (AttriMIL) framework to address these issues. Concretely, we dissect the calculation process of ABMIL and present an attribute scoring mechanism that measures the contribution of each instance to bag prediction effectively, quantifying instance attributes. Based on attribute quantification, we develop a spatial attribute constraint and an attribute ranking constraint to model instance correlations within and across slides, respectively. These constraints encourage the network to capture the spatial correlation and semantic similarity of instances, improving the ability of AttriMIL to distinguish tissue types and identify challenging instances. Additionally, AttriMIL employs a histopathology adaptive backbone that maximizes the pre-trained model's feature extraction capability for collecting pathological features. Extensive experiments on three public benchmarks demonstrate that our AttriMIL outperforms existing state-of-the-art frameworks across multiple evaluation metrics. The implementation code is available at https://github.com/MedCAI/AttriMIL.

연구 동기 및 목표

• 어 attention 기반 MIL에서 WSI 분류 시 조직 유형을 구분하는 데에 신뢰할 수 없는 어텐션 점수 문제를 해결하기 위해.
• 새로운 속성 점수 기반 메커니즘을 통해 각 패치가 백 수준 예측에 기여하는 정도를 정량화하여 인스턴스 구분 능력을 향상시키기 위해.
• 공간적 속성과 순서 제약을 활용해 패치 간의 공간적 및 의미적 상관관계를 모델링하여 일반화 능력을 향상시키기 위해.
• 속성 점수의 해석 가능성 특성을 활용해 외부 분포(OOD) 샘플 탐지 기능을 가능하게 하기 위해.
• WSI에서의 특징 추출 능력을 향상시키기 위해 조직병리학에 적합한 백본을 개발하기 위해.

제안 방법

• 각 인스턴스가 백 예측에 기여하는 정도를 정량화하는 속성 점수 기반 메커니즘을 제안하여 어텐션 점수를 대체함으로써 인스턴스 관련성의 주요 지표로 사용한다.
• 이웃 패치 간의 유사한 속성을 가진 인스턴스가 일관된 점수를 가지도록 유도함으로써, 한 개의 WSI 내에서 국소적인 공간적 상관관계를 모델링하기 위해 공간적 속성 제약을 도입한다.
• 다른 WSI 간에 양성 인스턴스를 음성 인스턴스보다 높게 순서 매기도록 함으로써 의미적 유사성을 강제하는 속성 순서 손실을 개발한다.
• 패치 수준 임bedding의 특징 표현 품질을 향상시키기 위해 병리학적 데이터로 미리 훈련된 조직병리학 적응형 백본을 활용한다.
• 인스턴스 간의 속성 점수를 합산하는 가속화 가능한 집계 함수를 사용하며, 이때 점수의 합이 0을 초과하는지 여부로 백 수준 예측을 결정한다.
• 각 진단 클래스에 해당하는 브랜치를 가진 다중 브랜치 분류 헤드를 적용하며, 최종 예측은 집계된 속성 점수가 0을 초과하는지 여부에 기반한다.

Figure 1: Illustration of ABMIL and our AttriMIL. For features, red cuboids denote positive attributes and blue cuboids are negative; for scores, redder colors represent higher scores and bluer colors indicate lower ones. Notably, for a positive bag, existing methods [ 6 , 7 , 8 , 4 , 5 ] generally

실험 결과

연구 질문

• RQ1 WSI 분류에서 어텐션 점수보다 속성 점수가 더 신뢰할 수 있는 인스턴스 기여도 측정 방법이 될 수 있는가?
• RQ2 패치 간의 공간적 및 외부 슬라이드 상관관계를 효과적으로 모델링하여 인스턴스 구분 능력을 향상시킬 수 있는가?
• RQ3 속성 점수 기반 메커니즘이 병리학적 영상 분석에서 외부 분포(OOD) 샘플 탐지 기능을 가능하게 할 수 있는가?
• RQ4 조직병리학에 적합한 백본의 통합이 특징 표현 품질과 분류 성능 향상에 기여하는가?
• RQ5 기존 ABMIL 기반 방법에 비해 AttriMIL은 종양 국소화 정확도를 어느 정도 향상시키는가?

주요 결과

• AttriMIL은 Camelyon16, PatchCamelyon, UniToPatho를 포함한 세 가지 공개 WSI 벤치마크에서 AUC 및 F1 점수와 같은 다양한 평가 지표에서 최신 기술(SOTA)을 초월한다.
• 속성 점수 기반 메커니즘이 소형 또는 미세한 종양 영역에 대해 양성 인스턴스 국소화 능력을 크게 향상시켰으며, 정성적 비교를 통해 이를 입증하였다.
• AttriMIL는 종양 영역 내에 통합된 음성 인스턴스—예를 들어 LUAD에서의 기관지 폐포 및 LUSC에서의 결합 조직—을 효과적으로 구분함으로써 뛰어난 구분 능력을 입증하였다.
• 속성 순서 손실 덕분에 모델은 슬라이드 간에 의미 있는 인스턴스 순서를 학습할 수 있었으며, 이는 일반화 능력과 내성 강도를 향상시켰다.
• 모든 브랜치 점수가 0 이하인 샘플을 식별함으로써 AttriMIL는 효과적인 OOD 탐지 기능을 달성하였으며, 진단 시스템의 임상적 안전성 잠재력을 보여주었다.
• 제거 실험을 통해 공간적 속성 제약과 속성 순서 손실이 복잡한 조직 영역에서 성능 향상에 기여하는 것으로 확인되었다.

Figure 2: Overview of AttriMIL framework. For an input WSI, AttriMIL crops it into patches and adopts a histopathology adaptive backbone to extract instance features. Afterward, AttriMIL generates instance attribute scores in each subtype branch (tumor and normal in the tumor detection task) using a