[논문 리뷰] PathGen-1.6M: 1.6 Million Pathology Image-text Pairs Generation through Multi-agent Collaboration

Yuxuan Sun, Yunlong Zhang외 8명|arXiv (Cornell University)|2024. 06. 28.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 TCGA의 전체 슬라이드 이미지(WSIs)에서 다중 에이전트 협업을 통해 생성한 160만 개의 병리학적 영상-텍스트 쌍 데이터셋인 PathGen-1.6M을 제안한다. 대규모 다중모odal 모델을 활용해 대표적인 패치를 추출하고 정교한 캡션을 생성함으로써, 저자들은 PathGen-CLIP와 PathGen-LLaVA를 훈련시켰으며, 이는 영상-언어 분류 작업에서 zero-shot 및 few-shot 성능이 최고 수준에 도달했고, 병리학 벤치마크에서 GPT-4V조차도 능가했다.

ABSTRACT

Vision Language Models (VLMs) like CLIP have attracted substantial attention in pathology, serving as backbones for applications such as zero-shot image classification and Whole Slide Image (WSI) analysis. Additionally, they can function as vision encoders when combined with large language models (LLMs) to support broader capabilities. Current efforts to train pathology VLMs rely on pathology image-text pairs from platforms like PubMed, YouTube, and Twitter, which provide limited, unscalable data with generally suboptimal image quality. In this work, we leverage large-scale WSI datasets like TCGA to extract numerous high-quality image patches. We then train a large multimodal model to generate captions for these images, creating PathGen-1.6M, a dataset containing 1.6 million high-quality image-caption pairs. Our approach involves multiple agent models collaborating to extract representative WSI patches, generating and refining captions to obtain high-quality image-text pairs. Extensive experiments show that integrating these generated pairs with existing datasets to train a pathology-specific CLIP model, PathGen-CLIP, significantly enhances its ability to analyze pathological images, with substantial improvements across nine pathology-related zero-shot image classification tasks and three whole-slide image tasks. Furthermore, we construct 200K instruction-tuning data based on PathGen-1.6M and integrate PathGen-CLIP with the Vicuna LLM to create more powerful multimodal models through instruction tuning. Overall, we provide a scalable pathway for high-quality data generation in pathology, paving the way for next-generation general pathology models.

연구 동기 및 목표

• 기존 병리학 영상-텍스트 데이터셋의 부족함과 낮은 품질이 강력한 시각-언어 모델 훈련을 제한하는 데에 대응하기 위해.
• TCGA의 대규모 전체 슬라이드 이미지(WSIs)를 활용해 확장 가능하고 고품질의 데이터 생성 파이프라인을 개발하기 위해.
• 병리학 전용 시각-언어 모델의 성능을 향상시키기 위해 대규모이며 고정밀도의 영상-텍스트 데이터셋을 구축하기 위해.
• 생성된 데이터를 대규모 언어 모델과 통합하여 임상적 추론과 진단을 위한 강력한 다중모달 병리학 모델을 구축하기 위해.

제안 방법

• TCGA의 고해상도 전체 슬라이드 이미지(WSIs)에서 다중 에이전트 협업을 통해 진단적으로 관련성이 높고 다양한 영역을 포함하는 대표적인 패치를 추출한다.
• 대규모 다중모달 모델이 시각적 및 맥락적 특징을 활용해 기초적인 캡션을 생성함으로써 기술적로 기술된 병리학 관련 텍스트를 생성한다.
• 에이전트 기반 피드백과 검증을 반복적으로 수행함으로써 캡션을 정교화하여 영상-텍스트 쌍의 정확도, 세부 사항, 임상적 관련성을 향상시킨다.
• 결과적으로 생성된 PathGen-1.6M 데이터셋을 사용해 대조 학습 기반의 영상-텍스트 쌍을 활용해 병리학 전용 CLIP 모델인 PathGen-CLIP를 사전 훈련한다.
• PathGen-1.6M에서 유래한 20만 개의 지시 훈련 샘플을 사용해 PathGen-CLIP를 미세조정하여 병리학 이해를 위한 다중모달 LLM인 PathGen-LLaVA를 훈련시킨다.
• 지시 훈련을 통해 시각 인코더(PathGen-CLIP)를 대규모 언어 모델(e.g., Vicuna)과 통합함으로써 복잡한 추론과 다중모달 질의응답(QA)을 가능하게 한다.

실험 결과

연구 질문

• RQ1 저품질의 웹 자료에 의존하지 않고도 다중 에이전트 협업이 전체 슬라이드 이미지에서 고품질이며 진단적으로 관련성이 높은 영상-텍스트 쌍을 효과적으로 생성할 수 있는가?
• RQ2 대규모 고정밀도 병리학 데이터셋은 전체 슬라이드 이미지 분석에서 zero-shot 및 few-shot 분류 성능을 어느 정도 향상시키는가?
• RQ3 병리학 최적화된 시각-언어 모델(PathGen-CLIP)이 PLIP 및 BiomedCLIP와 같은 기존 모델보다 후행 병리학 작업에서 슈퍼어리어어를 달성할 수 있는가?
• RQ4 PathGen-CLIP를 대규모 언어 모델과 통합하면 일반 도메인 모델인 GPT-4V를 능가하는 병리학 전용 추론 작업을 수행하는 다중모달 모델(PathGen-LLaVA)을 얻을 수 있는가?

주요 결과

• ABMIL 아키텍처를 사용할 때 PathGen-CLIP는 CAMELYON16 데이터셋에서 평균 AUC 96.9를 기록하여 PLIP(90.0), BiomedCLIP(83.6), Quilt-Net(87.1)을 크게 앞서며 성능을 뛰어넘었다.
• 더 큰 PathGen-CLIP-L 버전은 ACMIL 아키텍처를 사용할 때 데이터셋 전반에 걸쳐 평균 AUC 92.6을 기록하여 PLIP(87.2), BiomedCLIP(83.4), Quilt-Net(86.2)을 초월했다.
• PathGen-LLaVA는 PathMMU 벤치마크에서 전체 정확도 58.4%를 기록하여 GPT-4V(49.8%)를 능가했으며, 여러 하위 집합에서 Quilt-LLaVA보다 17.5%에서 22.2% 높은 성능을 보였다.
• PathGen-LLaVA는 모든 PathMMU 하위 집합에서 Quilt-LLaVA를 크게 앞서며, PubMed에서 17.5% 향상, SocialPath에서 12.2%, Atlas에서 15.4%, PathCLS에서 22.2% 향상된 성과를 기록했다.
• PathGen-1.6M를 기존 데이터셋과 통합함으로써 PathGen-CLIP는 아홉 개의 zero-shot 영상 분류 작업과 세 개의 전체 슬라이드 이미지 분류 작업에서 최고 성능을 기록했다.
• 본 연구는 다중 에이전트 협업을 통한 WSI에서의 고품질, 확장 가능한 데이터 생성이 가능하며, 병리학 AI 분야에서 상당한 성능 향상을 이끌 수 있음을 입증했다.