[논문 리뷰] PathAsst: A Generative Foundation AI Assistant Towards Artificial General Intelligence of Pathology

Yuxuan Sun, Chenglu Zhu외 7명|arXiv (Cornell University)|2023. 05. 24.

Data Mining Algorithms and Applications인용 수 4

한 줄 요약

PathAsst는 조직병리학 영상을 해석하고 복잡한 작업(예: 세포 분류 및 탐지)을 위한 전문화된 서브모델을 기동하는 데 특화된 생성 기반 기초 AI 어시스턴트입니다. 시각 인코더와 대규모 언어 모델을 결합하여 병리학적 맥락에서 고도화된 다중모달 추론을 실현하며, 142만 건의 정제된 이미지-텍스트 쌍과 180만 건의 지시 따르기 샘플을 활용해 기초 MLLM보다 뛰어난 진단 추론 성능을 달성합니다.

ABSTRACT

As advances in large language models (LLMs) and multimodal techniques continue to mature, the development of general-purpose multimodal large language models (MLLMs) has surged, offering significant applications in interpreting natural images. However, the field of pathology has largely remained untapped, particularly in gathering high-quality data and designing comprehensive model frameworks. To bridge the gap in pathology MLLMs, we present PathAsst, a multimodal generative foundation AI assistant to revolutionize diagnostic and predictive analytics in pathology. The development of PathAsst involves three pivotal steps: data acquisition, CLIP model adaptation, and the training of PathAsst's multimodal generative capabilities. Firstly, we collect over 207K high-quality pathology image-text pairs from authoritative sources. Leveraging the advanced power of ChatGPT, we generate over 180K instruction-following samples. Furthermore, we devise additional instruction-following data specifically tailored for invoking eight pathology-specific sub-models we prepared, allowing the PathAsst to effectively collaborate with these models, enhancing its diagnostic ability. Secondly, by leveraging the collected data, we construct PathCLIP, a pathology-dedicated CLIP, to enhance PathAsst's capabilities in interpreting pathology images. Finally, we integrate PathCLIP with the Vicuna-13b and utilize pathology-specific instruction-tuning data to enhance the multimodal generation capacity of PathAsst and bolster its synergistic interactions with sub-models. The experimental results of PathAsst show the potential of harnessing AI-powered generative foundation model to improve pathology diagnosis and treatment processes.

연구 동기 및 목표

• 병리학에 특화된 다중모달 대규모 언어 모델(MLLM)의 부족을 보완하기 위해 조직병리학 영상에 대해 이해하고 추론할 수 있는 기초 모델을 개발하는 것.
• 사용자 의도와 영상 콘텐츠에 기반해 동적 방식으로 전문화된 서브모델을 기동함으로써 병리학의 진단 및 예측 분석을 향상시키는 것.
• 기초 병리학 AI 모델을 구축하고 미세조정하기 위한 고품질 오픈소스 데이터셋(142만 건의 병리 영상-텍스트 쌍 및 180만 건의 지시 따르기 샘플)을 제작하고 공개하는 것.
• 연구자들이 오픈소스 데이터 수집 도구와 전처리 파이프라인을 통해 자신의 병리학 기초 모델을 구축하고 미세조정할 수 있도록 지원하는 것.

제안 방법

• PubMed, 병리학 교과서, 신뢰할 수 있는 웹사이트, 전문가가 애너테이션한 비공개 데이터에서 유의미한 정제 과정을 거친 후 142만 건의 고품질 병리 영상-텍스트 쌍을 확보.
• GPT-4를 활용해 다양한 진단 및 분석 과제를 위한 180만 건의 지시 따르기 샘플을 생성하여 기초 모델의 훈련에 활용.
• 모델 기동을 위한 전문화된 지시 따르기 데이터를 설계하여 PathAsst가 8종의 작업별 전문화된 서브모델(예: LBC 세포 생성기, PD-L1 탐지기)을 동적으로 선택하고 활용할 수 있도록 설계.
• CLIP 시각 인코더(clip-vit-base-patch32)를 사용한 Vicuna-13B 언어 모델을 기반으로 PathAsst를 훈련하여 다중모달 이해 및 추론 능력을 구현.
• 맞춤형 스크립트를 활용해 PDF 병리학 도서에서 자동으로 영상-텍스트 쌍을 추출하는 파이프라인을 개발.
• 200만 건 이상의 병리 샘플에 대해 미세조정된 다양한 CLIP 변형 모델(ViT-Large-patch14-336 등)을 재훈련하고 공개할 계획

실험 결과

연구 질문

• RQ1 생성 기반 기초 모델이 복잡한 조직병리학 영상에 효과적으로 대응하고 임상적으로 유의미한 진단 통찰을 도출할 수 있는가?
• RQ2 종합적인 다중모달 생성 방식에 비해 전문화된 서브모델의 동적 기동 방식이 병리학에서 진단 정확도와 과제 일반화 능력을 얼마나 향상시키는가?
• RQ3 고품질 정제 데이터의 활용이 병리학 전용 과제에서 기초 모델의 성능을 얼마나 향상시키는가?
• RQ4 병리학 전용 프롬프트를 활용한 지시 테이닝이 진단 추론의 제로샷 및 피크샷 능력을 얼마나 향상시키는가?

주요 결과

• PathAsst는 LLaVA 및 MiniGPT-4와 같은 기초 MLLM보다 조직병리학 영상에서 확대된 세포핵과 비정상적인 핵막의 특징을 더 잘 인식합니다.
• 전용 LBC 세포 생성 모델을 기동하여 LSIL 유형의 비정상적인 사이토플라즈마를 가진 LBC 세포를 성공적으로 생성함으로써 작업별 적응 능력을 입증합니다.
• 세포 수세기 과제에서 PathAsst는 PD-L1 세포 탐지 모델을 정확히 기동하고 양성 세포를 표시하며 정확한 통계를 포함한 마크다운 형식의 정형화된 결과를 출력합니다.
• 이미지 콘텐츠에 대한 추론 능력과 적절한 서브모델 선택 능력 덕분에 직접적인 다중모달 생성 방식에 비해 더 정확하고 맥락에 부합하는 진단 출력을 제공합니다.
• GPT-4를 활용해 180만 건의 지시 따르기 샘플을 생성함으로써 모델의 복잡한 다단계 진단 지시를 따르는 능력이 크게 향상되었습니다.