[论文解读] MC-CoT: A Modular Collaborative CoT Framework for Zero-shot Medical-VQA with LLM and MLLM Integration

Wei Lai, Wenkai Wang+6 more|arXiv (Cornell University)|Oct 6, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用 3

一句话总结

MC-CoT 提出了一种模块化、协作式的思维链（Chain-of-Thought）框架，通过整合大型语言模型（LLMs）与多模态大型语言模型（MLLMs），提升了零样本医学视觉问答（Med-VQA）的性能。该框架利用专门的模块——解剖学、病理学和放射学——为 MLLMs 提供领域特定的推理与图像字幕生成指导，在 PATH-VQA、VQA-RAD 和 SLAKE 数据集上，其准确率和召回率均优于独立的 MLLMs 及现有 CoT 方法。

ABSTRACT

In recent advancements, multimodal large language models (MLLMs) have been fine-tuned on specific medical image datasets to address medical visual question answering (Med-VQA) tasks. However, this common approach of task-specific fine-tuning is costly and necessitates separate models for each downstream task, limiting the exploration of zero-shot capabilities. In this paper, we introduce MC-CoT, a modular cross-modal collaboration Chain-of-Thought (CoT) framework designed to enhance the zero-shot performance of MLLMs in Med-VQA by leveraging large language models (LLMs). MC-CoT improves reasoning and information extraction by integrating medical knowledge and task-specific guidance, where LLM provides various complex medical reasoning chains and MLLM provides various observations of medical images based on instructions of the LLM. Our experiments on datasets such as SLAKE, VQA-RAD, and PATH-VQA show that MC-CoT surpasses standalone MLLMs and various multimodality CoT frameworks in recall rate and accuracy. These findings highlight the importance of incorporating background information and detailed guidance in addressing complex zero-shot Med-VQA tasks.

研究动机与目标

• 为解决 Med-VQA 任务中特定微调的高成本与可扩展性有限问题，实现 MLLMs 的零样本性能。
• 通过整合医学知识与 LLM 提供的结构化指导，增强 Med-VQA 中的多模态推理能力。
• 设计一种模块化、可复用的框架，根据问题需求动态激活特定的推理模块。
• 在多种 MLLM 与 LLM 组合及多个 Med-VQA 基准上评估该框架的有效性。
• 探究图像字幕、LLM 引导推理与答案摘要等关键组件对性能的影响。

提出的方法

• MC-CoT 使用三个预设计的图像特征提取模块——解剖学、病理学与放射学——分别针对医学图像分析的不同方面进行优化。
• LLM 首先分析输入问题，提供上下文医学知识与策略性指令，以引导 MLLM 的推理过程。
• MLLM 根据 LLM 提供的指令生成图像观测结果，从医学图像中提取模态特定的特征。
• LLM 综合激活模块的输出，生成连贯且全面的答案，确保推理过程的可追溯性。
• 图像字幕被用作预处理步骤，以提高指导的相关性并缩小 MLLM 推理前的问题范围。
• 该框架支持基于问题内容的动态模块激活，实现灵活、任务自适应的推理。

实验结果

研究问题

• RQ1 是否能够通过模块化、协作式的 CoT 框架显著提升 MLLMs 在 Med-VQA 中的零样本性能，而无需任务特定微调？
• RQ2 将领域特定的 LLM 引导推理与 MLLM 的图像理解相结合，对答案准确率与召回率有何影响？
• RQ3 在不同类型的 Med-VQA 问题中，哪个专用模块（解剖学、病理学、放射学）对性能贡献最大？
• RQ4 图像字幕在多大程度上提升了 MC-CoT 框架中 LLM 引导推理的质量？
• RQ5 与现有 CoT 框架（如 MMCoT 和 DDCoT）相比，MC-CoT 在推理严谨性与临床相关性方面表现如何？

主要发现

• MC-CoT 在 PATH-VQA、VQA-RAD 和 SLAKE 数据集上，均显著优于独立的 MLLMs 及多种 CoT 框架（如 MMCoT、DDCoT），在答案准确率与召回率方面表现更优。
• 放射学模块对答案准确率的贡献最大，表明模态特定的影像特征对诊断推理至关重要。
• 解剖学模块实现了最高的平均召回率，凸显了在问题理解中识别相关解剖结构的重要性。
• 图像字幕显著提升了指导的相关性，使 LLM 能够为 MLLM 生成更精确、更具上下文感知的指令。
• MC-CoT 的推理过程比基线 CoT 方法更具严谨性，因其显式验证了解剖结构，避免了对常识推理的过度依赖。
• 该框架在多种 LLM 与 MLLM 组合中均保持优异性能，展现出广泛的泛化能力与鲁棒性。