[論文レビュー] Large Language Models Leverage External Knowledge to Extend Clinical Insight Beyond Language Boundaries

Jiageng Wu, Xian Wu+6 more|arXiv (Cornell University)|May 17, 2023

Educational Technology and Pedagogy被引用数 4

ひとこと要約

本研究では、外部臨床知識と少数例例示を統合することで、非英語圏の医療環境における大規模言語モデル（LLM）の性能を向上させる、知識および少サンプル強化の文脈学習（KFE）フレームワークを導入する。KFEは中国国家医師資格試験（CNMLE-2022）における性能を顕著に向上させ、GPT-4が82.59/100を達成するなど、人間の平均（68.70）を上回り、13Bパラメータのモデルですら試験に合格させることが可能となり、低リソース言語的文脈における堅牢性とスケーラビリティを示している。

ABSTRACT

$ extbf{Objectives}$: Large Language Models (LLMs) such as ChatGPT and Med-PaLM have excelled in various medical question-answering tasks. However, these English-centric models encounter challenges in non-English clinical settings, primarily due to limited clinical knowledge in respective languages, a consequence of imbalanced training corpora. We systematically evaluate LLMs in the Chinese medical context and develop a novel in-context learning framework to enhance their performance. $ extbf{Materials and Methods}$: The latest China National Medical Licensing Examination (CNMLE-2022) served as the benchmark. We collected 53 medical books and 381,149 medical questions to construct the medical knowledge base and question bank. The proposed Knowledge and Few-shot Enhancement In-context Learning (KFE) framework leverages the in-context learning ability of LLMs to integrate diverse external clinical knowledge sources. We evaluated KFE with ChatGPT(GPT3.5), GPT4, Baichuan2(BC2)-7B, and BC2-13B in CNMLE-2022 and investigated the effectiveness of different pathways for incorporating LLMs with medical knowledge from 7 perspectives. $ extbf{Results}$: Directly applying ChatGPT failed to qualify for the CNMLE-2022 at a score of 51. Cooperated with the KFE, the LLMs with varying sizes yielded consistent and significant improvements. The ChatGPT's performance surged to 70.04 and GPT-4 achieved the highest score of 82.59. This surpasses the qualification threshold (60) and exceeds the average human score of 68.70. It also enabled a smaller BC2-13B to pass the examination, showcasing the great potential in low-resource settings. $ extbf{Conclusion}$: By synergizing medical knowledge through in-context learning, LLM can extend clinical insight beyond language barriers, significantly reducing language-related disparities of LLM applications and ensuring global benefit in healthcare.

研究の動機と目的

• 訓練データの偏りと多言語臨床知識の限界により、英語中心のLLMが非英語臨床環境で性能に差が出る問題に対処すること。
• 外部医療知識と例示事例を用いた、トレーニング不要のスケーラブルなフレームワークを構築し、文脈学習によるLLMの性能向上を実現すること。
• 中国語の高水準医療試験におけるLLM性能向上に寄与する、多様な知識統合経路の有効性を評価すること。
• 整理された臨床知識と少サンプル例を統合することで、より小さな低リソースLLMが専門家水準の性能を達成できるかどうかを実証すること。
• 言語的格差とリソース不足の状況を是正し、グローバルにアクセス可能なAI駆動医療の実現を促進すること。

提案手法

• CNMLE-2022に一致する53冊の医学教科書と381,149問の問題データベースから、包括的な医療知識ベースを構築した。
• KFEフレームワークを設計し、関連する臨床知識と類似過去問を検索して、文脈に即したプロンプトを形成する。
• 特定の指示、取得した知識、例示事例、およびターゲット質問を1つのプロンプトに統合し、LLMの推論を誘導する。
• 微調整や再トレーニングを必要とせず、LLMの文脈学習機能を活用して、新しい入力に動的に適応する。
• GPT-3.5、GPT-4、Baichuan2-7b、Baichuan2-13bを含む複数のLLMを、CNMLE-2022ベンチマーク上でKFEフレームワークの下で評価した。
• 知識統合の7種類の異なる経路を体系的に分析し、性能向上に最も効果的な構成を同定した。

Figure 1: Workflow of knowledge and few-shot enhancement framework (KFE) . Given the question stem and five candidate options, KFE retrieves the relevant knowledge from a comprehensive knowledge base and identifies similar questions from a historical question bank. The integrated prompt consists of

実験結果

リサーチクエスチョン

• RQ1 外部臨床知識と少サンプル例示が、中国語のような非英語言語の高水準医療資格試験におけるLLM性能を顕著に向上させ得るか？
• RQ2 KFEフレームワークは、モデルの微調整や再トレーニングを必要とせずに、LLMの臨床的推論能力をどのように向上させるか？
• RQ3 多様な医療知識ソースをLLMに統合する際、最も効果的な経路は何か？性能向上を最大化するための最適な構成を同定すること。
• RQ4 整理された臨床知識と少サンプル例を統合することで、より小さな低リソースLLMが医療試験で専門家水準の性能を達成できるか？
• RQ5 KFEフレームワークは、AI駆動医療アプリケーションにおける言語的・リソース的格差をどの程度是正できるか？

主な発見

• KFEフレームワークにより、GPT-4はCNMLE-2022で82.59点を達成し、人間の平均得点68.70点を上回り、60点の資格基準を満たした。
• ChatGPT（GPT-3.5）はKFEの下で、不合格だった51点から70.04点へと向上し、一貫した顕著な性能向上を示した。
• Baichuan2-13Bモデルは、医療タスクに特化した学習が少ないにもかかわらず、KFE統合後、CNMLE-2022に合格した。これは、低リソース環境におけるその潜在的価値を示している。
• フレームワークは、70億から1.7兆パラメータの異なるサイズのLLMにおいても堅牢な性能を示し、広範なスケーラビリティと一般化能力を示している。
• 知識統合経路の違いにより性能向上が変動し、知識取得、例示選択、構造化プロンプトの組み合わせが最適な構成であった。
• 本研究は、外部知識を用いた文脈学習が、言語の境界を超えて臨床的洞察を拡張できることを確認した。これにより、AI医療へのアクセス格差が軽減される。

Figure 2: Four strategies of few-shot enhancement.