[論文レビュー] MC-CoT: A Modular Collaborative CoT Framework for Zero-shot Medical-VQA with LLM and MLLM Integration

Wei Lai, Wenkai Wang+6 more|arXiv (Cornell University)|Oct 6, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用数 3

ひとこと要約

MC-CoTは、大規模言語モデル（LLM）とマルチモーダル大規模言語モデル（MLLM）を統合することで、ゼロショット医療視覚質問応答（Med-VQA）の性能を向上させるモジュラーで協調的な思考の連鎖（Chain-of-Thought）フレームワークを提案する。専用モジュール（解剖学、病理学、放射線学）を用いて、分野特異的な推論と画像要約を行うことで、PATH-VQA、VQA-RAD、SLAKEのデータセットにおいて、単体のMLLMや既存のCoT手法に比べて優れた正確性と再現率を達成した。

ABSTRACT

In recent advancements, multimodal large language models (MLLMs) have been fine-tuned on specific medical image datasets to address medical visual question answering (Med-VQA) tasks. However, this common approach of task-specific fine-tuning is costly and necessitates separate models for each downstream task, limiting the exploration of zero-shot capabilities. In this paper, we introduce MC-CoT, a modular cross-modal collaboration Chain-of-Thought (CoT) framework designed to enhance the zero-shot performance of MLLMs in Med-VQA by leveraging large language models (LLMs). MC-CoT improves reasoning and information extraction by integrating medical knowledge and task-specific guidance, where LLM provides various complex medical reasoning chains and MLLM provides various observations of medical images based on instructions of the LLM. Our experiments on datasets such as SLAKE, VQA-RAD, and PATH-VQA show that MC-CoT surpasses standalone MLLMs and various multimodality CoT frameworks in recall rate and accuracy. These findings highlight the importance of incorporating background information and detailed guidance in addressing complex zero-shot Med-VQA tasks.

研究の動機と目的

• 医療視覚質問応答（Med-VQA）におけるタスク特化型ファインチューニングの高コストとスケーラビリティの限界を解消し、MLLMのゼロショット性能を向上させること。
• LLMからの医療知識と構造的ガイダンスを統合することで、Med-VQAにおけるマルチモーダル推論を強化すること。
• 質問の要件に応じて動的に活性化される専用推論モジュールを備えたモジュラーで再利用可能なフレームワークを設計すること。
• 異なるMLLMおよびLLMの組み合わせと、複数のMed-VQAベンチマークを対象に、フレームワークの有効性を評価すること。
• 画像要約、LLMによるガイダンス推論、回答要約といった主要な構成要素が性能に与える影響を調査すること。

提案手法

• MC-CoTは、医療画像分析の特定の側面に特化した3つの事前設計済み画像特徴抽出モジュール（解剖学、病理学、放射線学）を採用する。
• LLMはまず入力質問を分析し、MLLMの推論プロセスをガイドするための文脈的な医療知識と戦略的指示を提供する。
• MLLMはLLMが提供する指示に基づいて画像の観察を生成し、医療画像からモダリティ特異的な特徴を抽出する。
• LLMは活性化されたモジュールからの出力を統合して、一貫性があり包括的な回答を生成し、推論の追跡可能性を保証する。
• 画像要約は、MLLM推論の前段階で実行され、ガイダンスの関連性を高め、問題の範囲を狭めるために用いられる。
• フレームワークは質問の内容に基づいてモジュールを動的に活性化でき、柔軟でタスクに適応した推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 タスク特化型ファインチューニングなしで、モジュラーで協調的なCoTフレームワークがMLLMのゼロショット性能を顕著に向上させることができるか？
• RQ2 MLLMの画像理解と分野特異的なLLMによるガイダンス推論を統合することで、回答の正確性と再現率にどのような影響を与えるか？
• RQ3 解剖学、病理学、放射線学のうち、どの専用モジュールが異なる種類のMed-VQA質問において最も性能向上に寄与しているか？
• RQ4 画像要約は、MC-CoTフレームワークにおけるLLMによるガイダンス推論の質をどの程度向上させるか？
• RQ5 MMCoT や DDCoT といった既存のCoTフレームワークと比較して、MC-CoTは推論の厳密性と臨床的妥当性においてどの程度優れているか？

主な発見

• MC-CoTは、PATH-VQA、VQA-RAD、SLAKEの各データセットにおいて、単体のMLLMや複数のCoTフレームワーク（例：MMCoT、DDCoT）を上回る回答の正確性と再現率を達成した。
• 放射線学モジュールが最も高い回答正確性に寄与しており、診断的推論においてモダリティ特異的な画像特徴が極めて重要であることが示された。
• 解剖学モジュールは最高の平均再現率を達成しており、質問理解における関連する解剖学的構造の特定の重要性が浮き彫りになった。
• 画像要約はガイダンスの関連性を顕著に向上させ、MLLM向けのより正確で文脈に即した指示をLLMが生成できるようにした。
• MC-CoTの推論プロセスは、ベースラインのCoT手法よりもより厳密であり、解剖学的構造の明示的検証を行い、一般常識に依存しすぎないよう工夫されている。
• フレームワークはさまざまなLLMおよびMLLMの組み合わせにおいても高い性能を維持しており、広範な一般化能力と頑健性を示した。