[논문 리뷰] Rethinking Multiple Instance Learning for Whole Slide Image Classification: A Good Instance Classifier is All You Need

Linhao Qu, Yingfan Ma외 3명|arXiv (Cornell University)|2023. 07. 05.

Image Retrieval and Classification TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 전체 슬라이드 이미지 분류를 위한 새로운 인스턴스 수준 다중 인스턴스 학습 프레임워크인 INS를 제안한다. 이는 약한 감독 기반의 대비 학습과 프로토타입 기반의 가짜 레이블 생성을 통해 인스턴스 및 백 분류 성능을 향상시킨다. 대비 특징 학습기와 프로토타입 기반 분류기를 함께 훈련시킴으로써, 고품질의 가짜 레이블과 강건한 특징 표현을 확보하여 여러 데이터셋에서 기존의 MIL 방법들을 크게 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Weakly supervised whole slide image classification is usually formulated as a multiple instance learning (MIL) problem, where each slide is treated as a bag, and the patches cut out of it are treated as instances. Existing methods either train an instance classifier through pseudo-labeling or aggregate instance features into a bag feature through attention mechanisms and then train a bag classifier, where the attention scores can be used for instance-level classification. However, the pseudo instance labels constructed by the former usually contain a lot of noise, and the attention scores constructed by the latter are not accurate enough, both of which affect their performance. In this paper, we propose an instance-level MIL framework based on contrastive learning and prototype learning to effectively accomplish both instance classification and bag classification tasks. To this end, we propose an instance-level weakly supervised contrastive learning algorithm for the first time under the MIL setting to effectively learn instance feature representation. We also propose an accurate pseudo label generation method through prototype learning. We then develop a joint training strategy for weakly supervised contrastive learning, prototype learning, and instance classifier training. Extensive experiments and visualizations on four datasets demonstrate the powerful performance of our method. Codes are available at https://github.com/miccaiif/INS.

연구 동기 및 목표

• 기존의 약한 감독 기반 다중 인스턴스 학습(MIL) 방법이 전체 슬라이드 이미지 분류에서 겪는 한계, 특히 노이즈가 많은 가짜 레이블과 정확도가 떨어지는 주의 기반 인스턴스 정렬 문제를 해결하기 위해.
• 인스턴스 수준의 애너테이션이 없을 경우, 새로운 약한 감독 기반 대비 학습 목표를 도입하여 인스턴스 수준의 특징 표현을 향상시키기 위해.
• 프로토타입 학습을 통해 양호한 품질의 정확한 가짜 레이블을 양성 인스턴스에 대해 생성하여, 백-레이블 상속 방식보다 노이즈를 줄이기 위해.
• 대비 학습, 프로토타입 학습, 인스턴스 분류를 동시에 최적화하는 공동 훈련 전략을 개발하여 엔드 투 엔드 성능을 향상시키기 위해.
• 단순히 강력한 인스턴스 분류기를 대비 학습 및 프로토타입 학습과 결합함으로써 전체 슬라이드 이미지 분류에서 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 백 수준의 레이블만을 사용하여 분류 가능한 인스턴스 수준의 특징 표현을 학습하기 위해 인스턴스 수준의 약한 감독 기반 대비 학습(IWSCL)을 제안하며, 진짜 음성 인스턴스를 앵커로 활용한다.
• 백 프로토타입과의 유사도를 측정하여 인스턴스 수준의 가짜 레이블을 생성하는 프로토타입 기반의 가짜 레이블 생성 방법을 도입하여, 백 상속 레이블보다 더 정확하고 노이즈가 적은 레이블 정확도를 향상시킨다.
• 인스턴스 분류기, 대비 손실, 프로토타입 학습 목표를 동시에 최적화하여 특징과 레이블 품질을 향상시키는 공동 훈련 전략을 설계한다.
• 훈련의 안정성과 일반화 성능 향상을 위해 가짜 레이블에 대해 이동 평균 업데이트 전략을 적용한다.
• 주목적 메커니즘을 갖춘 백 수준 분류 헤드를 사용하여 백 예측을 개선하고, 동시에 고품질의 가짜 레이블을 사용하여 인스턴스 분류기를 훈련시킨다.
• t-SNE 시각화 및 선형/SVM 프로빙을 통해 학습된 특징 표현과 가짜 레이블 품질을 평가한다.

실험 결과

연구 질문

• RQ1 백 수준의 레이블만 존재할 때, 약한 감독 기반 대비 학습이 분류 가능한 인스턴스 수준의 표현을 효과적으로 학습할 수 있는가?
• RQ2 프로토타입 기반의 가짜 레이블 생성 방식은 백-레이블 상속 방식보다 더 정확하고 노이즈가 적은 인스턴스 레이블을 생성하는가?
• RQ3 대비 학습, 프로토타입 학습, 인스턴스 분류를 통합한 공동 훈련 전략이 인스턴스 수준 및 백 수준의 분류 성능을 크게 향상시킬 수 있는가?
• RQ4 다양한 실제 전면 슬라이드 이미지(WSI) 데이터셋에서, 제안된 방법은 인스턴스 및 백 분류 작업의 AUC 측면에서 최신 기술 수준의 MIL 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 구성 요소들인 대비 학습과 프로토타입 학습이 최종 성능에 개별적으로 및 상호작용적으로 기여하는 정도는 어느 정도인가?

주요 결과

• Camelyon16 데이터셋에서 INS는 인스턴스 AUC 0.9583과 백 AUC 0.9016을 기록하여 비교된 모든 방법들을 능가한다.
• 제거 실험 결과, 인스턴스 수준의 약한 감독 기반 대비 학습(IWSCL) 손실을 제거하면 인스턴스 AUC가 5.78%p 감소함을 확인하여, 이 손실이 핵심적인 역할을 함을 입증한다.
• 제안된 프로토타입 기반 가짜 레이블 생성 방법은 훈련 에포크 수에 따라 지속적으로 가짜 레이블 AUC가 상승함으로써, 명확히 레이블 품질 향상을 입증한다.
• t-SNE 시각화 결과, INS가 추출한 특징은 양성 및 음성 인스턴스를 명확히 분리하는 반면, SimCLR가 생성한 특징은 상당한 겹침을 보임을 확인한다.
• 사전 추출된 특징에 대해 선형 및 SVM 프로빙을 수행한 결과, INS가 생성한 특징가 가장 높은 성능을 기록하여, 뛰어난 표현 학습 능력을 입증한다.
• 대비 손실이나 이동 평균 업데이트 전략을 제거한 경우에도 INS는 모든 베이스라인을 능가함을 확인하여, 전체 프레임워크의 강건성과 효과성을 확인한다.