[論文レビュー] Large Language Models Need Holistically Thought in Medical Conversational QA

Yixuan Weng, Bin Li+6 more|arXiv (Cornell University)|May 9, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、広範な探求（拡散的思考）と患者固有の推論（集中的思考）を統合することで、大規模言語モデル（LLM）の医療対話型質問応答（CQA）における性能を向上させる、包括的思考（HoT）手法を提案する。3つの多言語CQAデータセット上で評価された結果、微調整を一切行わず、最先端手法を大きく上回る応答の正確性、専門性、配慮のこもった対応が実現された。

ABSTRACT

The medical conversational question answering (CQA) system aims at providing a series of professional medical services to improve the efficiency of medical care. Despite the success of large language models (LLMs) in complex reasoning tasks in various fields, such as mathematics, logic, and commonsense QA, they still need to improve with the increased complexity and specialization of the medical field. This is because medical CQA tasks require not only strong medical reasoning, but also the ability to think broadly and deeply. In this paper, to address these challenges in medical CQA tasks that need to be considered and understood in many aspects, we propose the Holistically Thought (HoT) method, which is designed to guide the LLMs to perform the diffused and focused thinking for generating high-quality medical responses. The proposed HoT method has been evaluated through automated and manual assessments in three different medical CQA datasets containing the English and Chinese languages. The extensive experimental results show that our method can produce more correctness, professional, and considerate answers than several state-of-the-art (SOTA) methods, manifesting its effectiveness. Our code in https://github.com/WENGSYX/HoT.

研究の動機と目的

• 既存のLLMが医療CQAにおいて包括的推論に欠け、患者の病歴や現在の状態といった固有の要因を十分に考慮できないという限界を是正すること。
• 微調整や追加のアノテーションを必要とせず、モデルのファインチューニングなしに包括的で正確かつ配慮ある医療応答を生成できるゼロショット、プロンプトベースの手法を開発すること。
• 広範な探求（拡散的思考）と患者固有の的確な統合（集中的思考）を統合した1つの推論フレームワーク内で、LLMの医療推論能力を向上させること。
• 多様で多言語の医療CQAデータセットを対象に評価することで、言語や臨床状況にかかわらず汎用性と強靭性を実証すること。
• 医療的結論がどのように導かれるかを明らかにする透明性があり、解釈可能な推論プロセスを提供することで、信頼性と臨床的有用性を高めること。

提案手法

• HoT手法は、多様なデコード戦略を用いて広範な医療知識や応答の要素を探索する「拡散的思考」と、入力クエリに基づき、症状、病歴、現在の状態などの関連臨床的詳細を統合して患者固有の医療記録要約を生成する「集中的思考」の2段階推論プロセスを導入する。
• モデルは、拡散的思考と集中的思考の両方の知見を統合し、包括的で文脈に即した、患者の個別のプロファイルに適合した最終的な応答を生成する。
• この手法は完全にプロンプトベースであり、ゼロショットであり、微調整や追加のアノテーションを一切不要としており、新規または稀な疾患に対しても柔軟に適応可能である。
• LLMの文脈内学習能力を活用し、医師が診断や助言を行う前に複数の要因を総合的に検討するのと同様の包括的臨床的推論をシミュレートする。
• フレームワークはさまざまなLLMアーキテクチャと互換性があり、英語および中国語の医療CQAタスクを両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 包括的臨床的推論を模倣するゼロショットプロンプト手法は、医療対話型QAの応答品質を向上させることができるか？
• RQ2 拡散的思考と集中的思考を組み合わせることで、LLMを用いた医療対話における応答の正確性、専門性、患者中心性はどのように向上するか？
• RQ3 微調整なしで、HoT手法は多言語の医療CQAデータセットにどの程度一般化可能か？
• RQ4 推論プロセスを可視化・追跡可能にすることで、HoT手法は解釈性を向上させることができるか？
• RQ5 複雑で現実世界に即した医療推論の場面において、HoT手法は既存の最先端手法をどの程度上回るか？

主な発見

• HoT手法は、3つの医療CQAデータセットにおいて、自動評価および人的評価の両方で複数のSOTAベースラインを上回る応答品質の向上を達成した。
• 人的評価において、医療専門家はHoTが生成した応答が、ベースラインモデルに比べ、より正確で専門的かつ配慮に満ちたものであると評価した。
• ゼロショット一般化性能が強く、再トレーニングや追加のアノテーションなしに、稀な疾患や新規疾患に対しても効果的に対応できた。
• 拡散的思考と集中的思考の統合により、病歴や現在の症状といった患者固有の要因をより包括的に反映した応答が得られた。
• 構造的な思考分解により推論プロセスを可視化することで、解釈性が向上し、モデル出力に対する信頼性が高まった。
• 英語および中国語の医療CQAデータセットの両方で一貫した性能を示し、多言語対応の有効性を確認した。