[논문 리뷰] Towards a Visual-Language Foundation Model for Computational Pathology

Ming Y. Lu, Bowen Chen외 11명|arXiv (Cornell University)|2023. 07. 24.

AI in cancer detection인용 수 18

한 줄 요약

논문은 CONCH를 소개합니다. 이미지-캡션 쌍 1.17백만 건 이상으로 학습된 컴퓨테이셔널 병리학용 시각-언어 기초 모델로, 분류, 검색, 분할, 캡션화에서 13개 조직병리 벤치마크에 대해 제로샷 및 소샷 성능에서 최첨단을 달성합니다.

ABSTRACT

The accelerated adoption of digital pathology and advances in deep learning have enabled the development of powerful models for various pathology tasks across a diverse array of diseases and patient cohorts. However, model training is often difficult due to label scarcity in the medical domain and the model's usage is limited by the specific task and disease for which it is trained. Additionally, most models in histopathology leverage only image data, a stark contrast to how humans teach each other and reason about histopathologic entities. We introduce CONtrastive learning from Captions for Histopathology (CONCH), a visual-language foundation model developed using diverse sources of histopathology images, biomedical text, and notably over 1.17 million image-caption pairs via task-agnostic pretraining. Evaluated on a suite of 13 diverse benchmarks, CONCH can be transferred to a wide range of downstream tasks involving either or both histopathology images and text, achieving state-of-the-art performance on histology image classification, segmentation, captioning, text-to-image and image-to-text retrieval. CONCH represents a substantial leap over concurrent visual-language pretrained systems for histopathology, with the potential to directly facilitate a wide array of machine learning-based workflows requiring minimal or no further supervised fine-tuning.

연구 동기 및 목표

• Computational pathology(CPath)에서 라벨 부족 및 작업별 데이터 한계 문제를 해결한다.
• 다양한 조직병리 작업에 일반화되는 작업-무관 시각-언어 기초 모델을 개발한다.
• 대규모 조직병리 이미지-캡션 데이터를 활용해 병리학 워크플로에서 제로샷, 소샷, 멀티모달 추론을 가능하게 한다.

제안 방법

• CoCa를 기반으로 한 이미지 인코더, 텍스트 인코더, 다중모드 융합 디코더로 CONCH를 구축한다.
• 이미지-텍스트 표현을 맞추는 대조 정렬 목적어와 이미지에 조건부 캡션 생성을 위한 캡션화 목적어를 사용해 사전 학습한다.
• 자동 정리 후 1.79백만 쌍에서 인간 주도 선행 학습 데이터셋을 1.17백만 이미지-캡션 쌍으로 구성한다.
• 슬라이드 수준 및 ROI 수준 작업을 포함한 13개의 다운스트림 벤치마크에서 제로샷, 소샷, 그리고 감독학습 성능을 평가한다.
• 타일 기반 집계로 대형 웨스터링 슬라이드WSI에서 교차 모달 검색(텍스트-이미지 및 이미지-텍스트) 및 제로샷 분할을 평가한다.
• 제한된 라벨 데이터로 미세조정해 제로샷 기준선과 비교하여 소샷 학습을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 작업에서 작업 특화 미세 조정 없이도 대규모 조직병리-특정 시각-언어 모델이 강력한 제로샷 성능을 달성할 수 있는가?
• RQ2 CONCH 모델이 제로샷 및 소샷 설정에서 ROI 및 전체 슬라이드 이미지 작업에서 분류, 검색, 분할, 캡션화에서 어떻게 성능을 발휘하는가?
• RQ3 공동 시각-언어 사전학습이 라벨 효율성을 개선하고 병리학에서 효과적인 교차 모달 검색을 가능하게 하는가?
• RQ4 타일 기반 집계와 중첩 타일링을 이용한 WSI에서 제로샷 분할의 잠재력은 어떠한가?
• RQ5 CONCH가 벤치마크에서 병리학용 기존 시각-언어 모델(예: PLIP, BiomedCLIP, OpenAICLIP 등)과 비교해 어떤 성과를 보이는가?

주요 결과

• CONCH는 4개의 슬라이드 수준 작업과 3개의 ROI 수준 작업에서 제로샷 최첨단 성능을 달성하며, 종종 베이스라인을 상당한 차이로 능가한다.
• 제로샷 CCN 테스트에서 NSCLC 서브타이핑(90.0%) 및 RCC 서브타이핑(89.3%)에서 높은 정확도를 보이며 BRCA 서브타이핑은 84.0%에 이른다; LUAD 패턴 카파는 다음 최적 베이스라인 대비 약 0.16 개선된다.
• ROI 작업에서 CONCH는 79.1% CRC100k 정확도와 71.9% WSSS4LUAD 정확도를 달성하며, 각각 PLIP보다 11.7%와 9.5% 높은 성과를 보이고; SICAP 카파는 0.711로 BiomedCLIP보다 0.158 높다.
• 교차 모달 검색(텍스트-이미지 및 이미지-텍스트) 평균 REC는 CONCH가 베이스라인을 상회하며 Source A, Source B, 및 TCGA-LUAD 데이터셋 전반에서 평균 리콜이 크게 높게 나타난다.
• SICAP 및 DigestPath에서 제로샷 분할은 레이블이 없는 데이터로도 거칠게 구획화 가능한 능력을 보여 주며 다소 개선된 Dice, 재현율, 정밀도를 달성한다.
• 캡션화 실험에서 미세조정 후 METEOR 및 ROUGE에서 GIT 베이스라인을 능가하는 성능을 보여준다.