[논문 리뷰] The Rise of AI Language Pathologists: Exploring Two-level Prompt Learning for Few-shot Weakly-supervised Whole Slide Image Classification

Linhao Qu, Xiaoyuan Luo외 3명|arXiv (Cornell University)|2023. 05. 29.

Multimodal Machine Learning Applications인용 수 13

한 줄 요약

FSWC와 TOP를 소개하는 두 단계 프롬프트 학습 MIL 프레임워크로 CLIP과 GPT-4를 사용해 약한 감독 하에서 few-shot 배치- 및 인스턴스 수준의 WSI 분류를 달성합니다.

ABSTRACT

This paper introduces the novel concept of few-shot weakly supervised learning for pathology Whole Slide Image (WSI) classification, denoted as FSWC. A solution is proposed based on prompt learning and the utilization of a large language model, GPT-4. Since a WSI is too large and needs to be divided into patches for processing, WSI classification is commonly approached as a Multiple Instance Learning (MIL) problem. In this context, each WSI is considered a bag, and the obtained patches are treated as instances. The objective of FSWC is to classify both bags and instances with only a limited number of labeled bags. Unlike conventional few-shot learning problems, FSWC poses additional challenges due to its weak bag labels within the MIL framework. Drawing inspiration from the recent achievements of vision-language models (V-L models) in downstream few-shot classification tasks, we propose a two-level prompt learning MIL framework tailored for pathology, incorporating language prior knowledge. Specifically, we leverage CLIP to extract instance features for each patch, and introduce a prompt-guided pooling strategy to aggregate these instance features into a bag feature. Subsequently, we employ a small number of labeled bags to facilitate few-shot prompt learning based on the bag features. Our approach incorporates the utilization of GPT-4 in a question-and-answer mode to obtain language prior knowledge at both the instance and bag levels, which are then integrated into the instance and bag level language prompts. Additionally, a learnable component of the language prompts is trained using the available few-shot labeled data. We conduct extensive experiments on three real WSI datasets encompassing breast cancer, lung cancer, and cervical cancer, demonstrating the notable performance of the proposed method in bag and instance classification. All codes will be available.

연구 동기 및 목표

• 소수 샘플의 배치 라벨만으로 MIL 하에서 Few-shot Weakly Supervised WSI Classification (FSWC)을 동기부여하고 형식화한다.
• GPT-4에서 도출된 언어 사전지식을 활용하여 인스턴스 및 배치 수준 학습을 안내하는 Two-level Prompt Learning MIL 프레임워크 (TOP)를 제안한다.
• 인스턴스 특징 추출을 위한 CLIP 활용 및 프롬프트 유도 풀링 메커니즘을 통한 배치 표현 생성.
• V-L 모델 매개변수를 보존하면서 인스턴스 및 배치 수준에서의 few-shot 프롬프트 학습을 가능하게 한다.
• 제한된 라벨 데이터로 여러 암 WSI에서 최첨단 성능을 입증한다.

제안 방법

• 각 WSI 배치 내 패치 특징을 추출하기 위해 CLIP 이미지 인코더를 사용한다.
• GPT-4가 생성한 인스턴스 프로토타입을 이용해 인스턴스 프롬프트 유도 풀링으로 인스턴스 특징을 배치 특징으로 집계한다.
• 시각적 병리학 사전지식을 설명하는 인스턴스 수준 및 배치 수준 프롬프트를 GPT-4로 생성하고 적응을 위한 학습 가능한 프롬프트 구성요소(CoOp 유사)를 도입한다.
• 배치 수준에서 Few-shot 프롬프트 학습을 안내하고 이를 배치 특징과 맞추기 위한 배치 수준 프롬프트 그룹을 구성한다.
• 배치 라벨에 대한 교차 엔트로피 손실과 인스턴스 프로토타입 간 다양성 유지를 위한 보조 손실을 통해 학습 가능한 프롬프트 벡터를 최적화한다.
• 추론 시 배치 프롬프트와의 매칭으로 배치를 분류하고 인스턴스는 인스턴스 프로토타입에 대한 유사도 평균으로 분류한다.

실험 결과

연구 질문

• RQ1 FSWC가 클래스당 소수의 라벨된 배치만으로 MIL 하에서 효과적으로 해결될 수 있는가?
• RQ2 언어 사전지식을 활용한 2단계 프롬프트 학습 전략이 소수-shot 감독 하에서 배치 및 인스턴스 수준 WSI 분류를 개선하는가?
• RQ3 GPT-4 유래의 인스턴스 및 배치 사전지식이 풀링 및 프롬프트 학습 과정에 어떤 영향을 미치는가?
• RQ4 전이 및 성능에 미치는 학습 가능한 프롬프트 구성요소(CoOp 스타일)가 FSWC에 미치는 영향은 무엇인가?
• RQ5 제한된 데이터 하에서 유방암, 폐암, 자궁경부 암 WSI에서 비교적 강건한 이득이 나타나는가?

주요 결과

• TOP은 Camelyon 16, TCGA-Lung, 자궁경부암 데이터셋에서 few-shot 설정에서 배치 및 인스턴스 분류의 최첨단 성능을 달성한다.
• 인스턴스 프롬프트 유도 풀링은 실험 전반에서 주의집중 풀링보다 일관되게 우수하다.
• 배치 수준 프롬프트 그룹은 배치 분류에서 CoOp 스타일 프롬프트 학습보다 성능을 향상시킨다.
• 프롬프트 유도 풀링 및 배치 수준 프롬프트가 성능 향상의 핵심이며 보조 손실은 안정성에 기여한다는 점을 확인하는 제거 분석이 있다.
• TOP은 1-, 2-, 4-, 8-, 16-shot 설정에서 베이스라인 대비 현저한 개선을 보인다.