[论文解读] A Foundational Multimodal Vision Language AI Assistant for Human Pathology

Ming Y. Lu, Bowen Chen+9 more|arXiv (Cornell University)|Dec 13, 2023

Artificial Intelligence in Healthcare and Education被引用 15

一句话总结

PathChat 是一个基于 UNI 派生的视觉编码器连接到 13B 大型语言模型，并通过 257k 病理指令训练的病理学视觉-语言 AI 助手，在多项选择题和开放式病理问题上超过基线，尤其在提供临床背景时表现突出。

ABSTRACT

The field of computational pathology has witnessed remarkable progress in the development of both task-specific predictive models and task-agnostic self-supervised vision encoders. However, despite the explosive growth of generative artificial intelligence (AI), there has been limited study on building general purpose, multimodal AI assistants tailored to pathology. Here we present PathChat, a vision-language generalist AI assistant for human pathology using an in-house developed foundational vision encoder pretrained on 100 million histology images from over 100,000 patient cases and 1.18 million pathology image-caption pairs. The vision encoder is then combined with a pretrained large language model and the whole system is finetuned on over 250,000 diverse disease agnostic visual language instructions. We compare PathChat against several multimodal vision language AI assistants as well as GPT4V, which powers the commercially available multimodal general purpose AI assistant ChatGPT-4. When relevant clinical context is provided with the histology image, PathChat achieved a diagnostic accuracy of 87% on multiple-choice questions based on publicly available cases of diverse tissue origins and disease models. Additionally, using open-ended questions and human expert evaluation, we found that overall PathChat produced more accurate and pathologist-preferable responses to diverse queries related to pathology. As an interactive and general vision language AI assistant that can flexibly handle both visual and natural language inputs, PathChat can potentially find impactful applications in pathology education, research, and human-in-the-loop clinical decision making.

研究动机与目标

• 推动并实现一个面向病理学的通用多模态 AI 助手。
• 通过将病理学基础视觉编码器与大型语言模型耦合来开发 PathChat。
• 整理并利用一个大型病理学为焦点的指令数据集用于微调。
• 在诊断和交互任务中对 PathChat 与开源及商业多模态模型进行评估。

提出的方法

• 以 UNI 作为起始视觉编码器，预训练于超过一亿张组织学图像。
• 在 1.18 百万对病理图像-文字描述对上对齐的视觉语言编码器（CONCH-Large）进行微调。
• 通过多模态投影模块将视觉编码器连接到一个 13B 参数的预训练 LLM。
• 对组合的 MLLM 在 257k 条病理指令数据集（PathChatInstruct）上进行微调。
• 在多项选择诊断题和开放式问题上将 PathChat 与 LLaVA、LLaVA-Med 和 GPT4V 进行比较评估，包括上下文感知情景。

实验结果

研究问题

• RQ1 在无需超出 PathChatInstruct 的任务特定微调的前提下，PathChat 能否在零-shot 或少量-shot 设置下对组织学图像进行诊断？
• RQ2 相较于通用型和生物医学专业化的 MLLMs，在显微镜学诊断和开放式病理问题上 PathChat 的表现如何？
• RQ3 提供临床背景是否能提升 PathChat 助手的诊断准确性和实用性？
• RQ4 PathChat 在显微学、诊断、临床知识和辅助检测等类别中的相对优点与不足是什么？

主要发现

• PathChat 在仅图像的多项选择题上达到 70.8% 的准确率，在包含临床背景时达到 81.2%，基于一个综合病理基准。
• PathChat 在图像仅设置和图像加上下文两种情形下均优于 LLaVA 1.5 和 LLaVA-Med。
• 在开放式问题上，PathChat 总体准确率达到 86.1%，优于 GPT4V（59.1%）、LLaVA 1.5（42.6%）和 LLaVA-Med（50.4%）。
• PathChat 在显微学和诊断类别表现尤为出色，在这些领域的准确率高于 GPT4V，而 GPT4V 在临床和辅助检测问题上表现出色。
• PathChat 支持互动的多轮对话和人机环节的鉴别诊断工作流。