[论文解读] Mining Healthcare Procurement Data Using Text Mining and Natural Language Processing -- Reflection From An Industrial Project

Ziqi Zhang, Tomas Jasaitis+3 more|arXiv (Cornell University)|Jan 9, 2023

Outsourcing and Supply Chain Management被引用 6

一句话总结

本文展示了在工业场景中应用文本挖掘与自然语言处理技术，从数百万份异构的多语言医疗采购文件中提取结构化采购合同数据。通过利用领域知识和可扩展的多语言方法，作者构建了首个大规模结构化采购合同数据库，以支持动态供应商风险评估，同时记录了在复杂真实环境中部署实用NLP技术的关键挑战与经验教训。

ABSTRACT

While text mining and NLP research has been established for decades, there remain gaps in the literature that reports the use of these techniques in building real-world applications. For example, they typically look at single and sometimes simplified tasks, and do not discuss in-depth data heterogeneity and inconsistency that is common in real-world problems or their implication on the development of their methods. Also, few prior work has focused on the healthcare domain. In this work, we describe an industry project that developed text mining and NLP solutions to mine millions of heterogeneous, multilingual procurement documents in the healthcare sector. We extract structured procurement contract data that is used to power a platform for dynamically assessing supplier risks. Our work makes unique contributions in a number of ways. First, we deal with highly heterogeneous, multilingual data and we document our approach to tackle these challenges. This is mainly based on a method that effectively uses domain knowledge and generalises to multiple text mining and NLP tasks and languages. Second, applying this method to mine millions of procurement documents, we develop the first structured procurement contract database that will help facilitate the tendering process. Second, Finally, we discuss lessons learned for practical text mining/NLP development, and make recommendations for future research and practice.

研究动机与目标

• 为解决医疗采购领域中真实世界NLP应用的缺乏，开发可扩展的文本挖掘解决方案，以处理异构的多语言数据。
• 从数百万份非结构化的采购文件中提取结构化合同数据，以支持动态供应商风险评估。
• 记录并分享在工业NLP项目中处理数据异构性、不一致性及多语言性方面遇到的实际挑战与解决方案。
• 通过提供在复杂、特定领域工业环境中部署NLP的实用建议，为未来研究奠定基础。

提出的方法

• 设计了一种融合领域知识的NLP流水线，以应对不同采购文件中数据异构性与不一致性的问题。
• 该方法支持多种文本挖掘与NLP任务，包括命名实体识别、关系抽取和文档分类，覆盖多种语言。
• 采用结合规则启发式方法与预训练多语言语言模型（如mBERT）的混合方法，以提升模型的鲁棒性与泛化能力。
• 数据预处理包括标准化、语言识别和多语言分词，以统一不同文件类型与语言的输入格式。
• 通过领域专家反馈和标注采购文件样本的验证，对系统进行迭代优化。
• 实施了可扩展的数据流水线，以高效处理并结构化数百万份采购文件。

实验结果

研究问题

• RQ1 在工业环境中，如何有效应用NLP技术处理高度异构且多语言的医疗采购文件？
• RQ2 领域知识在提升文本挖掘模型对多样化采购文件格式的鲁棒性与泛化能力方面发挥什么作用？
• RQ3 如何系统性地解决数据不一致与异构性问题，以实现大规模、可靠的的信息抽取？
• RQ4 在现实世界医疗采购应用中部署NLP系统时，面临哪些关键实际挑战？
• RQ5 在复杂、特定领域背景下，未来研究与工业部署NLP技术可从中汲取哪些经验教训？

主要发现

• 作者成功从数百万份多语言、异构的文件中提取了结构化采购合同数据，构建了医疗领域首个大规模结构化采购合同数据库。
• 领域知识的整合显著提升了模型在多样化文件类型与语言上的性能与泛化能力。
• 该方法在处理采购文件中格式、术语与结构的不一致与差异方面表现出强鲁棒性。
• 项目表明，数据质量与预处理是现实世界NLP应用中的关键瓶颈，其挑战常超过模型开发本身。
• 实际部署需要与领域专家进行迭代优化，凸显了在工业NLP系统中引入人工参与验证的重要性。
• 本研究为未来研究提供了可操作的建议，强调应记录真实世界中的挑战与数据复杂性，而不仅局限于简化的学术基准。