[논문 리뷰] Dual-stream Multiple Instance Learning Network for Whole Slide Image Classification with Self-supervised Contrastive Learning

Bin Li, Yin Li외 1명|arXiv (Cornell University)|2020. 11. 17.

Image Retrieval and Classification Techniques참고 문헌 53인용 수 42

한 줄 요약

본 논문은 DSMIL을 소개합니다. 이는 학습 가능한 거리 기반 집계와 자기지도 대조 학습을 갖춘 듀얼 스트림 MIL 프레임워크로, 패치 수준 라벨 없이 전체 슬라이드 이미지를 분류하고 종양을 위치화하며, 다중 스케일 특성 활용으로 정확도를 향상시킵니다.

ABSTRACT

We address the challenging problem of whole slide image (WSI) classification. WSIs have very high resolutions and usually lack localized annotations. WSI classification can be cast as a multiple instance learning (MIL) problem when only slide-level labels are available. We propose a MIL-based method for WSI classification and tumor detection that does not require localized annotations. Our method has three major components. First, we introduce a novel MIL aggregator that models the relations of the instances in a dual-stream architecture with trainable distance measurement. Second, since WSIs can produce large or unbalanced bags that hinder the training of MIL models, we propose to use self-supervised contrastive learning to extract good representations for MIL and alleviate the issue of prohibitive memory cost for large bags. Third, we adopt a pyramidal fusion mechanism for multiscale WSI features, and further improve the accuracy of classification and localization. Our model is evaluated on two representative WSI datasets. The classification accuracy of our model compares favorably to fully-supervised methods, with less than 2% accuracy gap across datasets. Our results also outperform all previous MIL-based methods. Additional benchmark results on standard MIL datasets further demonstrate the superior performance of our MIL aggregator on general MIL problems. GitHub repository: https://github.com/binli123/dsmil-wsi

연구 동기 및 목표

• 슬라이드 수준 라벨만으로 약한 약지도 WSI 분류를 다룬다.
• 특성 불균형 및 큰 가방 크기에서 MIL 집계의 한계를 완화한다.
• MIL용으로 강건한 패치 표현을 얻기 위해 자기지도 대조 학습(SimCLR)을 활용한다.
• 다중 스케일 피라미드 융합을 개발하여 다중 스케일 조직 특징을 활용한다.
• WSI 데이터셋에서 최첨단 성능을 입증하고 일반 MIL 벤치마크에서의 타당성을 검증한다.

제안 방법

• 초점 스트림으로 중요 인스턴스를 식별하는 최대 풀링 스트림과 가방 임베딩을 계산하는 거리 기반 주의 스트림을 갖춘 듀얼 스트림 MIL 집계기 DSMIL을 제안한다.
• 인스턴스 임베딩 h_i와 중요 인스턴스 간의 학습 가능한 거리 U(h_i, h_m)을 사용하여 주의 가중치를 형성한다.
• 가중치로서 U(h_i, h_m)을 사용하여 인스턴스 정보 벡터 v_i의 가중 합으로 가방 임베딩을 계산하고, 이를 가방 분류기로 점수화한다; 최종 점수는 두 스트림의 평균이다.
• 강건한 패치 표현을 위해 자가 지도 대조 학습(SimCLR)으로 피처 추출기 f를 학습한다.
• 5x 및 20x 배율의 피처를 연결하여 다중 스케일 임베딩을 형성하는 피라미드 다중 스케일 피처 융합을 적용하고 로컬로 제약된 주의(attention)를 가능하게 한다.
• 대규모 가방의 메모리 및 라벨 부족 문제를 완화하고 표현 품질을 향상시키기 위해 자기지도 학습 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 가중치가 학습 가능한 거리 측정을 갖춘 듀얼 스트림 MIL 집계기가 약하게 라벨링된 WSI에서 인스턴스 및 가방 수준의 판별력을 향상시킬 수 있는가?
• RQ2 WSI에서 패치 표현에 대해 자기지도 대조 학습이 엔드 투 엔드 학습이나 ImageNet 사전학습에 비해 우수한가?
• RQ3 다중 스케일(피라미드) 특성 융합이 단일 스케일 접근법보다 WSI 분류 및 위치화 성능을 향상시키는가?
• RQ4 DSMIL은 WSI 외의 표준 MIL 벤치마크에서도 어떤 성능을 보이며, 그 집계가 다양한 작업에 일반화되는가?

주요 결과

모델	스케일	정확도	AUC	로컬라이제이션/FROC
Mean-pooling	Single	0.7984	0.7620	0.1162
Max-pooling	Single	0.8295	0.8641	0.3313
MILRNN	Single	0.8062	0.8064	0.3048
ABMIL	Single	0.8450	0.8653	0.4056
DSMIL	Single	0.8682	0.8944	0.4296
Fully-supervised	Single	0.9147	0.9362	0.5254
MS-MILRNN	Multiple	0.8140	0.8371	0.2791
MS-ABMIL	Multiple	0.8760	0.8872	0.4191
DSMIL-LC	Multiple	0.8992	0.9165	0.4371
Mean-pooling	Single	0.8857	0.9369	-
Max-pooling	Single	0.8088	0.9014	-
MIL-RNN	Single	0.8619	0.9107	-
ABMIL	Single	0.9000	0.9488	-
DSMIL	Single	0.9190	0.9633	-
MS-MIL-RNN	Multiple	0.8905	0.9213	-
MS-ABMIL	Multiple	0.9000	0.9551	-
DSMIL-LC	Multiple	0.9286	0.9583	-

• DSMIL은 WSI 분류 및 종양 위치화에서 다른 최신 MIL 모델보다 우수하며, Camelyon16 및 TCGA 폐암 데이터셋에서 약 2-3%의 정확도 차이가 난다.
• 다중 스케일 주의(DSMIL-LC)를 적용하면 Camelyon16 분류에서 완전 지도 방식과의 정확도 차이를 2% 미만으로 좁힌다.
• 패치 표현에 대한 자기지도 대조 학습은 엔드 투 엔드 학습에 비해 상당한 이점을 제공하며, 특히 불균형한 가방 상황에서 더 두드러진다(예: Camelyon16).
• 다중 스케일 주의는 단일 스케일 및 다른 다중 스케일 융합 전략보다 우수하며, DSMIL-LC가 Camelyon16 및 TCGA 데이터셋에서 최첨단 결과를 달성한다.
• 전통적인 MIL 데이터셋에서도 DSMIL은 최근 MIL 집계기와 비교해 경쟁력 있거나 우수한 결과를 보여 듀얼 스트림 접근법의 일반화를 시사한다.
• ablation 연구를 통해 DSMIL 집계기의 효과성과 대조 학습, 다중 스케일 주의의 MIL 성능 개선 기여를 확인한다.