[论文解读] Global Readiness of Language Technology for Healthcare: What would it Take to Combat the Next Pandemic?

Ishani Mondal, Kabir Ahuja+4 more|arXiv (Cornell University)|Apr 6, 2022

AI in Service Interactions被引用 5

一句话总结

本文评估了语言技术（LT）在医疗保健领域的全球准备情况，重点关注15种亚洲和非洲语言在大流行病应对中聊天机器人的开发。通过使用多语言模型和商业框架进行意图分类，研究发现低资源语言（0–2类）的性能下降了20–30%，揭示了LT可及性的显著差异，并建议针对‘桥梁’语言和领域自适应NLP系统进行有针对性的投资，以确保全球大流行病应对准备。

ABSTRACT

The COVID-19 pandemic has brought out both the best and worst of language technology (LT). On one hand, conversational agents for information dissemination and basic diagnosis have seen widespread use, and arguably, had an important role in combating the pandemic. On the other hand, it has also become clear that such technologies are readily available for a handful of languages, and the vast majority of the global south is completely bereft of these benefits. What is the state of LT, especially conversational agents, for healthcare across the world's languages? And, what would it take to ensure global readiness of LT before the next pandemic? In this paper, we try to answer these questions through survey of existing literature and resources, as well as through a rapid chatbot building exercise for 15 Asian and African languages with varying amount of resource-availability. The study confirms the pitiful state of LT even for languages with large speaker bases, such as Sinhala and Hausa, and identifies the gaps that could help us prioritize research and investment strategies in LT for healthcare.

研究动机与目标

• 评估全球范围内语言技术（LT）在医疗聊天机器人方面的准备情况，特别是在低资源环境中的现状。
• 调查利用现有商业和开源工具，为资源匮乏的亚洲和非洲语言构建实用的多语言新冠FAQ聊天机器人的可行性。
• 识别语言资源可用性和模型性能方面的关键缺口，这些缺口阻碍了公平的大流行病应对技术发展。
• 基于国家层面的语言人口统计数据和模型性能评分，制定全球大流行病应对LT准备度地图。
• 提出有针对性的研究与投资策略，以确保在下一次大流行病来临前实现全球LT准备。

提出的方法

• 基于语言资源可用性，从六种类别（0–5类）中选取15种亚洲和非洲语言，以评估LT性能。
• 使用多语言Transformer模型（mBERT和XLM-R）以及商业框架（Google Dialogflow、Microsoft Bot Framework）为每种语言构建意图分类器。
• 在标准化的新冠FAQ意图分类任务上评估性能，测量相对于英语基线的F1分数。
• 在部分语言中开展实体识别实验，以评估低资源环境下的命名实体检测能力。
• 基于模型性能计算语言级别的准备度评分（$ r_l $），并利用人口加权的语言分布将结果聚合至国家层面准备度（$ r_c $）。
• 应用Jenks自然断点优化法，将国家划分为五个大流行病准备度等级（极度准备不足至完全准备），生成全球热力图。

实验结果

研究问题

• RQ1 目前哪些语言具备足够的语言技术基础设施，以支持大流行病应对的实用医疗聊天机器人？
• RQ2 与英语等高资源语言相比，多语言NLU模型在低资源语言（0–2类）中的性能退化程度如何？
• RQ3 商业聊天机器人框架和多语言模型在非洲和亚洲资源匮乏语言中的支持程度如何？
• RQ4 哪些语言和关键技术障碍阻碍了低资源语言中医疗聊天机器人的有效部署？
• RQ5 如何通过战略性研究与投资，在下一次大流行病来临前提升全球LT在医疗保健领域的准备度？

主要发现

• 即使使用最先进的多语言模型和商业框架，0–2类语言（如豪萨语、索马里语、马拉地语、僧伽罗语）的意图分类F1分数仍比英语低20–30%，表明性能显著下降。
• 尽管使用了mBERT和XLM-R，非洲语言以及部分印度语言（如马拉地语、僧伽罗语）的性能仍显著低于英语基线，表明资源缺口依然存在。
• 除英语外，仅有少数欧洲和亚洲语言（如法语、中文、韩语、孟加拉语）达到高准备度水平，而斯瓦希里语和豪萨语等广泛使用的语言仍属资源匮乏。
• 由于低资源语言比例较高，撒哈拉以南非洲、南亚以及拉丁美洲部分地区（如赞比亚、玻利维亚、危地马拉）被归类为“极度准备不足”。
• 在某些低资源语言中，存在地理或语言上相近的“桥梁”语言（如印地语对马拉地语）可提升性能，表明迁移学习具有潜力。
• 商业聊天机器人框架和机器翻译系统在处理领域特定术语（如“潜伏期”、“新冠”）时表现出脆弱性，凸显了领域适应和术语注入技术的必要性。