[论文解读] Toward Improving Health Literacy in Patient Education Materials with Neural Machine Translation Models

David Oniani, Sreekanth Sreekumar+7 more|PubMed|Sep 14, 2022

Health Literacy and Information Accessibility参考文献 27被引用 9

一句话总结

本研究提出使用神经机器翻译（NMT）模型自动简化患者教育材料中的复杂健康语言，以提升健康素养。基于BiLSTM的NMT模型在识别并替换不具可读性的医学术语为通俗语言方面优于基于BERT的模型，尽管在流畅性、可读性和医学术语翻译方面仍存在挑战。

ABSTRACT

Health literacy is the central focus of Healthy People 2030, the fifth iteration of the U.S. national goals and objectives. People with low health literacy usually have trouble understanding health information, following post-visit instructions, and using prescriptions, which results in worse health outcomes and serious health disparities. In this study, we propose to leverage natural language processing techniques to improve health literacy in patient education materials by automatically translating illiterate languages in a given sentence. We scraped patient education materials from four online health information websites: MedlinePlus.gov, Drugs.com, Mayoclinic.org and Reddit.com. We trained and tested the state-of-the-art neural machine translation (NMT) models on a silver standard training dataset and a gold standard testing dataset, respectively. The experimental results showed that the Bidirectional Long Short-Term Memory (BiLSTM) NMT model outperformed Bidirectional Encoder Representations from Transformers (BERT)-based NMT models. We also verified the effectiveness of NMT models in translating health illiterate languages by comparing the ratio of health illiterate language in the sentence. The proposed NMT models were able to identify the correct complicated words and simplify into layman language while at the same time, the models suffer from sentence completeness, fluency, readability, and have difficulty in translating certain medical terms.

研究动机与目标

• 为应对患者教育材料中健康素养水平低下所导致的不良健康结果和健康差异问题。
• 开发一种利用自然语言处理技术将复杂医学语言自动简化为通俗语言的方法。
• 评估神经机器翻译模型在识别并替换不具可读性的医学术语方面的有效性。
• 比较不同NMT架构（特别是基于BiLSTM和BERT的模型）在健康素养简化任务中的表现。
• 评估模型输出对简化后健康内容中文句完整度、流畅性和可读性的影响。

提出的方法

• 研究人员从四个主要健康信息网站收集患者教育材料，以构建训练和测试数据集。
• 通过网络爬取和预处理在线来源的患者教育内容，创建了银标准训练数据集。
• 精心整理了金标准测试数据集，用于评估模型在健康素养简化任务中的表现。
• 该研究在将复杂医学术语翻译为更简单语言的任务上，训练并评估了最先进的NMT模型，包括基于BiLSTM和BERT的架构。
• 通过准确识别不具可读性的术语、流畅性及可读性等指标评估模型性能，并辅以人工验证输出质量。

实验结果

研究问题

• RQ1 神经机器翻译模型能否有效识别并替换患者教育材料中的复杂医学术语为更通俗的语言？
• RQ2 基于BiLSTM的NMT模型与基于BERT的NMT模型在简化健康素养内容方面表现如何比较？
• RQ3 NMT模型在简化医学文本过程中，在多大程度上保持了句子的完整性和流畅性？
• RQ4 NMT模型在翻译罕见或高度专业的医学术语时面临哪些挑战？
• RQ5 简化术语与原始复杂术语的比例在多大程度上与整体可读性和理解度相关？

主要发现

• 基于BiLSTM的NMT模型在简化健康素养内容方面优于基于BERT的模型，尤其在识别并替换复杂医学术语方面表现更佳。
• NMT模型成功降低了句子中不具可读性语言的比例，表明其在有效简化复杂术语方面具有成效。
• 尽管有所改进，模型在简化后仍难以保持句子的流畅性和完整性。
• 模型在准确翻译某些罕见或高度专业的医学术语方面表现出显著困难。
• 本研究证实，使用NMT进行自动化简化可降低健康素养障碍，但需进一步优化以提升可读性和流畅性。