[论文解读] Mapping Unparalleled Clinical Professional and Consumer Languages with Embedding Alignment

Wei‐Hung Weng, Peter Szolovits|arXiv (Cornell University)|Jun 25, 2018

Biomedical Text Mining and Ontologies参考文献 23被引用 6

一句话总结

本文提出一种无监督嵌入对齐方法，通过利用在临床病历和面向患者的文本上训练的词嵌入，将临床专业术语映射为更易懂的消费者语言。通过在MIMIC-III数据集的子词级嵌入上应用带锚点的普罗克鲁斯特斯（Procrustes）算法，该方法实现了高质量的词级映射，优于更大规模的一般语料库，展现出在可扩展、无本体论的医患沟通工具方面的潜力。

ABSTRACT

Mapping and translating professional but arcane clinical jargons to consumer language is essential to improve the patient-clinician communication. Researchers have used the existing biomedical ontologies and consumer health vocabulary dictionary to translate between the languages. However, such approaches are limited by expert efforts to manually build the dictionary, which is hard to be generalized and scalable. In this work, we utilized the embeddings alignment method for the word mapping between unparalleled clinical professional and consumer language embeddings. To map semantically similar words in two different word embeddings, we first independently trained word embeddings on both the corpus with abundant clinical professional terms and the other with mainly healthcare consumer terms. Then, we aligned the embeddings by the Procrustes algorithm. We also investigated the approach with the adversarial training with refinement. We evaluated the quality of the alignment through the similar words retrieval both by computing the model precision and as well as judging qualitatively by human. We show that the Procrustes algorithm can be performant for the professional consumer language embeddings alignment, whereas adversarial training with refinement may find some relations between two languages.

研究动机与目标

• 解决因临床术语与消费者语言差异导致的医患沟通障碍。
• 开发一种可扩展的无监督方法，将临床专业术语映射为消费者可理解的等效表达，而无需依赖专家整理的词典。
• 评估嵌入对齐技术（特别是普罗克鲁斯特斯算法与对抗性训练）在临床文本跨语言映射中的有效性。
• 证明在临床叙述数据（如MIMIC-III）上训练的嵌入优于在更大规模通用语料库（如PubMed或Wikipedia）上训练的嵌入。
• 探索通过共享字符串锚点实现最小监督下，专业语言与消费者语言空间之间语义对齐的可行性。

提出的方法

• 在两个语料库上独立训练子词级词嵌入：一个富含临床专业术语（来自MIMIC-III出院摘要），另一个包含消费者健康语言。
• 应用带锚点的普罗克鲁斯特斯算法，通过最小化对齐嵌入与目标嵌入之间差异的Frobenius范数，对齐两个嵌入空间。
• 通过精炼的对抗性训练实现专业与消费者嵌入之间的共享、解耦表示空间学习。
• 使用主成分分析（PCA）可视化并定性评估共享嵌入空间中的对齐质量。
• 通过最近邻检索评估映射性能：检索与给定临床专业术语语义相似的消费者术语。
• 在检索到的术语对上，通过定量（精确率）与定性（人工判断）方式验证结果。

实验结果

研究问题

• RQ1 无监督嵌入对齐能否在不依赖生物医学本体论或词典的情况下，有效将临床专业术语映射为消费者友好的等效表达？
• RQ2 在临床叙述数据（如MIMIC-III）上训练的嵌入是否比在更大规模通用语料库（如PubMed或Wikipedia）上训练的嵌入具有更好的对齐性能？
• RQ3 不同对齐技术（带锚点的普罗克鲁斯特斯算法 vs. 精炼的对抗性训练）在捕捉专业与消费者语言之间语义关系方面的表现如何比较？
• RQ4 对齐后的嵌入能否在不同语言类型间捕捉有意义的语义聚类，如解剖学术语或疾病相关概念？
• RQ5 共享字符串锚点在提升异构嵌入空间对齐质量方面起到何种作用？

主要发现

• 带锚点的普罗克鲁斯特斯算法显著优于其他方法，在检索与临床专业术语语义相似的消费者术语方面实现了高精确率。
• 在MIMIC-III临床叙述语料库上训练的嵌入产生的对齐结果优于在更大规模通用语料库（如PubMed或Wikipedia）上训练的嵌入。
• 带锚点的普罗克鲁斯特斯嵌入成功将语义相关的术语聚类，如“tumor”（肿瘤）、“cancer”（癌症）和“malignancy”（恶性）；并以高精度将“epistaxis”（鼻出血）映射为“nosebleed”（鼻出血）。
• 精炼的对抗性训练整体性能有限，但成功捕捉了特定语义关系，尤其是专业与消费者解剖学术语之间的关系，PCA可视化结果清晰显示了这一点。
• 该方法在无需专家标注词典或大量人工监督的情况下，仅依赖语料库间的共享字符串锚点，即实现了有效的词级映射。
• 人工评估确认，使用带锚点的普罗克鲁斯特斯嵌入检索出的前10个最近邻，通常为临床术语的恰当且语境相关的消费者等效表达。