[论文解读] Better to Ask in English: Cross-Lingual Evaluation of Large Language Models for Healthcare Queries

Yiqiao Jin, Mohit Chandra+4 more|arXiv (Cornell University)|Oct 19, 2023

Artificial Intelligence in Healthcare and Education被引用 10

一句话总结

该论文提出 XLingEval，一个跨语言框架，以及 XLingHealth，一个多语言医疗保健基准，用于评估 LLM 在英语、西班牙语、中文和印地语上的表现，揭示在正确性、一致性和可验证性方面存在显著的语言差异。

ABSTRACT

Large language models (LLMs) are transforming the ways the general public accesses and consumes information. Their influence is particularly pronounced in pivotal sectors like healthcare, where lay individuals are increasingly appropriating LLMs as conversational agents for everyday queries. While LLMs demonstrate impressive language understanding and generation proficiencies, concerns regarding their safety remain paramount in these high-stake domains. Moreover, the development of LLMs is disproportionately focused on English. It remains unclear how these LLMs perform in the context of non-English languages, a gap that is critical for ensuring equity in the real-world use of these systems.This paper provides a framework to investigate the effectiveness of LLMs as multi-lingual dialogue systems for healthcare queries. Our empirically-derived framework XlingEval focuses on three fundamental criteria for evaluating LLM responses to naturalistic human-authored health-related questions: correctness, consistency, and verifiability. Through extensive experiments on four major global languages, including English, Spanish, Chinese, and Hindi, spanning three expert-annotated large health Q&A datasets, and through an amalgamation of algorithmic and human-evaluation strategies, we found a pronounced disparity in LLM responses across these languages, indicating a need for enhanced cross-lingual capabilities. We further propose XlingHealth, a cross-lingual benchmark for examining the multilingual capabilities of LLMs in the healthcare context. Our findings underscore the pressing need to bolster the cross-lingual capacities of these models, and to provide an equitable information ecosystem accessible to all.

研究动机与目标

• 通过在高风险领域评估 LLMs，推动获得平等的健康信息访问权。
• 提出一个聚焦于正确性、一致性和可验证性的多语言评估框架（XLingEval）。
• 创建一个涵盖四种广泛使用语言的多语言医疗保健基准（XLingHealth）。
• 评估跨语言表现和在真实世界健康问答数据集上的多种 LLM 的泛化能力。

提出的方法

• 为健康查询定义三个核心评估标准：正确性、一致性和可验证性。
• 开发带有自动化与人工评估组件的 XLingEval，以在各语言中将 LLM 的输出与专家真值进行比较。
• 通过将英文健康问答数据集（HealthQA、LiveQA、MedicationQA）翻译为印地语、中文和西班牙语，并由医学专家参与输入，构建 XLingHealth。
• 使用 GPT-3.5 和 MedAlpaca-30b 进行多语言实验，分析数据集和语言之间的语言差异。
• 应用统计检验（ANOVA、Tukey HSD、t 检验）来确定跨语言表现差异的显著性。
• 使用多种相似度度量（n-gram、BERTScore、句子嵌入）和主题模型（LDA、HDP）来在表层、语义和主题层面评估一致性。
• 通过把模型作为正确与错误断言的检测器来评估可验证性。

Figure 1 . We present XLingEval , a comprehensive framework for assessing cross-lingual behaviors of LLMs for high risk domains such as healthcare. We present XLingHealth , a cross-lingual benchmark for healthcare queries.

实验结果

研究问题

• RQ1 LLMs 在英语、西班牙语、中文和印地语的健康查询上表现如何？
• RQ2 正确性、一致性和可验证性在健康问答中是否存在跨语言差异？
• RQ3 XLingEval 框架是否能够可靠地检测多语言差距并指导跨语言健康信息获取的改进？
• RQ4 类似 XLingHealth 的多语言基准是否可以推广到其他领域和模型？

主要发现

• 在四种语言中，正确性存在显著差异，GPT-3.5 对非英语查询给出错误回答的比例高于英语。
• GPT-3.5 对健康数据集中非英语查询的错误答案的可能性比英语高出 5.82 倍。
• 一致性分析显示在某些指标下，印地语的表现下降最多可达 50.5%，而中文下降为 28.3%，相对于英语。
• 在可验证性方面，中文和印地语的表现显著较弱；英语和西班牙语表现相对较好（HealthQA：英语对比中文/印地语）。
• MedAlpaca-30b 的语言差异模式与 GPT-3.5 不同，凸显模型依赖的跨语言行为。
• ANOVA 显示跨语言、跨指标和跨模型的语言差异具有统计学意义；英语-西班牙语在性能上通常更接近，而其他配对差距较大。

Figure 2 . Evaluation pipelines for correctness, consistency, and verifiability criteria in the XLingEval framework.