[논문 리뷰] ProtoMIL: Multiple Instance Learning with Prototypical Parts for Whole-Slide Image Classification

Dawid Rymarczyk, Adam Pardyl외 4명|arXiv (Cornell University)|2021. 08. 24.

Machine Learning and Data Classification인용 수 6

한 줄 요약

ProtoMIL은 전체 슬라이드 이미지(WSI) 분류를 위한 자기 설명 가능한 다중 인스턴스 학습(MIL) 프레임워크를 제안하며, 정확도를 희생시키지 않은 채 해석 가능성을 향상시키기 위해 학습 가능한 원형 부분을 활용한다. 이는 프로토타입에 대한 패치 유사도를 주의 기반으로 집계하여 예측의 세분화된 시각적 설명을 가능하게 하며, 다섯 개인 WSI 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Multiple Instance Learning (MIL) gains popularity in many real-life machine learning applications due to its weakly supervised nature. However, the corresponding effort on explaining MIL lags behind, and it is usually limited to presenting instances of a bag that are crucial for a particular prediction. In this paper, we fill this gap by introducing ProtoMIL, a novel self-explainable MIL method inspired by the case-based reasoning process that operates on visual prototypes. Thanks to incorporating prototypical features into objects description, ProtoMIL unprecedentedly joins the model accuracy and fine-grained interpretability, which we present with the experiments on five recognized MIL datasets.

연구 동기 및 목표

• 기존의 다중 인스턴스 학습(MIL) 모델이 전체 슬라이드 이미지(WSI) 분류에서 해석 가능성이 부족한 문제를 해결하기 위해.
• 학습 데이터에서 유형화된 부분을 학습하여 세분화되고 사례 기반의 설명을 제공하는 방법을 개발하기 위해.
• 프로토타입 기반 추론을 통해 국소적이고 전반적인 해석 가능성을 유지하면서도 높은 분류 정확도를 유도하기 위해.
• 어둠직한 주의 메커니즘에 의존하는 것을 줄이고, 학습 가능한, 클래스별로 특화된 시각적 프로토타입에 기반한 설명을 제공하기 위해.
• 백업된 양성 인스턴스 패치에서 프로토타입 학습을 장려하여 모델의 강건성을 향상시키기 위해.

제안 방법

• 전체 슬라이드 이미지(WSI)를 패치로 나누고, 학습 가능한 클래스별 프로토타입 부분과의 유사도를 계산한다.
• 패치 유사도를 프로토타입에 대해 주의 풀링 기반으로 집계하여 백 단위 표현을 생성한다.
• 백에 속한 양성 레이블을 유발하는 인스턴스로부터 프로토타입을 유도하도록 유도하는 새로운 정규화 기법을 도입한다.
• 모델의 해석 가능성을 향상시키기 위해 비클래스 특화된 부분을 제거하고 데이터 클래스를 압축적으로 표현하기 위해 프로토타입 정제를 수행한다.
• 엔드 투 엔드 학습을 가능하게 하기 위해 패치 임베딩과 프로토타입 특징을 동시에 학습하는 이중 분기 네트워크를 활용한다.
• 인간의 이해를 돕기 위해 주의 가중치가 부여된 패치를 강조 표시하고, 해당 패치를 그에 해당하는 프로토타입 부분과 연결하여 예측을 시각화한다.

실험 결과

연구 질문

• RQ1 MIL 모델이 전체 슬라이드 이미지 분류에서 높은 정확도와 세분화된 해석 가능성을 동시에 달성할 수 있는가?
• RQ2 유형화된 부분은 어떻게 효과적으로 학습하고 사용할 수 있으며, 자기 지도적이고 사례 기반 추론 방식으로 모델 예측을 설명할 수 있는가?
• RQ3 부족한 양성 인스턴스에서 프로토타입 학습을 장려하면 모델 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ4 프로토타입 정제가 성능 저하 없이 모델 복잡도를 얼마나 줄일 수 있는가?
• RQ5 제안된 방법은 임상적으로 의미 있는 방식으로 국소(인스턴스 수준)와 전반적(클래스 수준) 설명을 동시에 제공할 수 있는가?

주요 결과

• ProtoMIL은 다섯 개인 기준 WSI 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성했으며, 현재 SOTA 모델과 1-2% 이내의 정확도를 기록했다.
• Camelyon16 데이터셋에서 ProtoMIL은 87.3% ± 1.2%의 정확도와 0.935 ± 0.007 AUC를 기록했으며, SOTA 방법과 유사한 성능을 보였다.
• TCGA-RCC에서 ProtoMIL은 94.66% ± 1.0%의 정확도와 0.988 ± 0.009 AUC를 기록했으며, 신장암 분류에서 뛰어난 성능을 입증했다.
• 프로토타입 정제로 평균적으로 프로토타입 수를 약 30% 감소시켰으며, 성능 저하가 최소한이었고, 유일하게 대장암에서 AUC가 약간 감소했다.
• 모델은 주의 가중치가 부여된 패치(국소적)와 프로토타입 기반 설명(전반적)을 모두 제공하여 기존의 MIL 방법보다 해석 가능성이 크게 향상되었다.
• 실험 결과, ProtoMIL의 해석 가능성은 TransMIL과 CLAM과 같은 주의 기반 모델보다 뛰어나며, 설명을 분석하기 위해 복잡한 분석이 필요하지 않다는 점에서 우월성을 보였다.