[논문 리뷰] MC-CoT: A Modular Collaborative CoT Framework for Zero-shot Medical-VQA with LLM and MLLM Integration

Wei Lai, Wenkai Wang외 6명|arXiv (Cornell University)|2024. 10. 06.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

MC-CoT는 대규모 언어 모델(LLM)과 다중모态 대규모 언어 모델(MLLM) 간의 협업을 통해 영역별 추론과 이미지 캡션을 안내하는 전용 모듈(해부학, 병리학, 방사선학)을 통합함으로써 제로샷 의료 시각질의응답(Med-VQA)의 정확도를 향상시키는 모듈형, 협업형 체인오브Thought(Chain-of-Thought) 프레임워크를 제안한다. 이는 PATH-VQA, VQA-RAD, SLAKE에서 기존의 MLLM 및 CoT 방법에 비해 뛰어난 정확도와 재현율을 달성한다.

ABSTRACT

In recent advancements, multimodal large language models (MLLMs) have been fine-tuned on specific medical image datasets to address medical visual question answering (Med-VQA) tasks. However, this common approach of task-specific fine-tuning is costly and necessitates separate models for each downstream task, limiting the exploration of zero-shot capabilities. In this paper, we introduce MC-CoT, a modular cross-modal collaboration Chain-of-Thought (CoT) framework designed to enhance the zero-shot performance of MLLMs in Med-VQA by leveraging large language models (LLMs). MC-CoT improves reasoning and information extraction by integrating medical knowledge and task-specific guidance, where LLM provides various complex medical reasoning chains and MLLM provides various observations of medical images based on instructions of the LLM. Our experiments on datasets such as SLAKE, VQA-RAD, and PATH-VQA show that MC-CoT surpasses standalone MLLMs and various multimodality CoT frameworks in recall rate and accuracy. These findings highlight the importance of incorporating background information and detailed guidance in addressing complex zero-shot Med-VQA tasks.

연구 동기 및 목표

• 의료 시각질의응답(Med-VQA)을 위한 태스크별 미세조정의 높은 비용과 제한된 확장성 문제를 해결하기 위해, 태스크별 미세조정 없이도 MLLM에서 제로샷 성능을 달성할 수 있도록 하는 것.
• LLM에서 제공하는 의료 지식과 구조적 지침을 통합하여 다중모달 추론 능력을 향상시켜 Med-VQA의 정확도를 높이는 것.
• 질문 요구사항에 따라 동적으로 전용 추론 모듈를 활성화하는 모듈형, 재사용 가능한 프레임워크를 설계하는 것.
• 다양한 MLLM 및 LLM 조합과 여러 종류의 Med-VQA 벤치마크를 통해 프레임워크의 효과성을 평가하는 것.
• 이미지 캡션, LLM 지도 추론, 답변 요약과 같은 핵심 구성 요소가 성능에 미치는 영향을 조사하는 것.

제안 방법

• MC-CoT는 의료 영상 분석의 특정 측면에 맞게 설계된 세 가지 사전 설계된 이미지 특징 추출 모듈—해부학, 병리학, 방사선학—을 사용한다.
• LLM은 입력된 질문을 먼저 분석하여 MLLM의 추론 과정을 안내하기 위해 맥락적 의료 지식과 전략적 지시를 제공한다.
• MLLM는 LLM이 제공한 지시에 기반하여 이미지 관찰을 생성하고, 의료 영상에서 모odal별 특징을 추출한다.
• LLM은 활성화된 모듈의 출력을 통합하여 일관되고 종합적인 답변을 생성하며, 추론의 흐름을 추적 가능하게 한다.
• 이미지 캡션은 MLLM 추론 이전에 문제 범위를 좁히고 지침의 관련성을 높이기 위해 사전 처리 단계로 사용된다.
• 프레임워크는 질문 내용에 따라 동적으로 모듈를 활성화할 수 있어, 태스크 적응형의 민첩한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 태스크별 미세조정 없이도, 모듈형이고 협업형인 CoT 프레임워크가 MLLM의 제로샷 성능을 상당히 향상시킬 수 있는가?
• RQ2 MLLM의 영상 이해 능력에 의료 영역 특화된 LLM 지도 추론을 통합할 경우, 답변의 정확도와 재현율에 어떤 영향을 미치는가?
• RQ3 해부학, 병리학, 방사선학 중 어느 전용 모듈이 다양한 종류의 Med-VQA 질문에서 성능 향상에 가장 기여하는가?
• RQ4 이미지 캡션은 MC-CoT 프레임워크에서 LLM 지도 추론의 품질을 어느 정도 향상시키는가?
• RQ5 이론적 추론의 엄밀함과 임상적 관련성 측면에서, 기존의 CoT 프레임워크인 MMCoT와 DDCoT에 비해 MC-CoT는 어떻게 비교되는가?

주요 결과

• MC-CoT는 PATH-VQA, VQA-RAD, SLAKE 데이터셋 전반에서 단일 MLLM 및 여러 CoT 프레임워크(MMCoT, DDCoT 등)보다 높은 답변 정확도와 재현율을 기록한다.
• 방사선학 모듈가 가장 높은 기여도를 보이며, 진단적 추론에 있어 모달별 영상 특징이 핵심임을 시사한다.
• 해부학 모듈는 평균 재현율이 가장 높아, 질문 이해 과정에서 관련 해부학적 구조를 식별하는 것이 중요함을 입증한다.
• 이미지 캡션은 지침의 관련성을 상당히 향상시켜 LLM이 MLLM에게 더 정밀하고 맥락 인식형 지시를 생성할 수 있도록 한다.
• MC-CoT의 추론 과정은 기존의 CoT 방법보다 더 엄밀하며, 해부학적 구조를 명시적으로 확인하고 일반 지식에 대한 과도한 의존을 피함으로써 추론의 투명성과 정확성을 확보한다.
• 프레임워크는 다양한 LLM 및 MLLM 조합에서도 뛰어난 성능을 유지하여 광범위한 일반화 능력과 강건성을 입증한다.