[论文解读] An unsupervised and customizable misspelling generator for mining noisy health-related text sources

Abeed Sarker, Graciela Gonzalez‐Hernandez|arXiv (Cornell University)|Jun 3, 2018

Topic Modeling参考文献 29被引用 61

一句话总结

本文提出了一种无监督、以数据为中心的拼写错误生成器，利用密集词嵌入和语义-词汇过滤，自动生成复杂健康相关术语的常见且语义相关的拼写错误。该系统在F1得分上达到0.69，超越了当前最先进方法，并在应用于癌症相关术语时，使Twitter检索率提升超过67%。

ABSTRACT

In this paper, we present a customizable datacentric system that automatically generates common misspellings for complex health-related terms. The spelling variant generator relies on a dense vector model learned from large unlabeled text, which is used to find semantically close terms to the original/seed keyword, followed by the filtering of terms that are lexically dissimilar beyond a given threshold. The process is executed recursively, converging when no new terms similar (lexically and semantically) to the seed keyword are found. Weighting of intra-word character sequence similarities allows further problem-specific customization of the system. On a dataset prepared for this study, our system outperforms the current state-of-the-art for medication name variant generation with best F1-score of 0.69 and F1/4-score of 0.78. Extrinsic evaluation of the system on a set of cancer-related terms showed an increase of over 67% in retrieval rate from Twitter posts when the generated variants are included. Our proposed spelling variant generator has several advantages over the current state-of-the-art and other types of variant generators-(i) it is capable of filtering out lexically similar but semantically dissimilar terms, (ii) the number of variants generated is low as many low-frequency and ambiguous misspellings are filtered out, and (iii) the system is fully automatic, customizable and easily executable. While the base system is fully unsupervised, we show how supervision maybe employed to adjust weights for task-specific customization. The performance and significant relative simplicity of our proposed approach makes it a much needed misspelling generation resource for health-related text mining from noisy sources. The source code for the system has been made publicly available for research purposes.

研究动机与目标

• 解决由于复杂医学术语频繁拼写错误，导致在社交媒体等噪声文本源中遗漏相关健康数据的挑战。
• 开发一种完全自动化的无监督系统，仅生成语义和词汇上合理的拼写错误，避免无关变体。
• 为健康NLP研究人员创建一个可自定义、即插即用的工具，无需自然语言处理或机器学习专业知识。
• 通过精确控制的变体生成，减少误报并最小化API关键词限制，从而提高数据收集效率。

提出的方法

• 该系统使用从大规模未标注文本中学习的预训练密集向量模型（词嵌入），以找到与种子关键词语义相似的术语。
• 通过递归过滤，仅保留与种子词在语义上接近（通过嵌入相似性）且在词汇上接近（通过编辑距离）的术语。
• 采用基于阈值的过滤机制，确保仅保留处于指定词汇和语义距离范围内的变体。
• 系统整合了对词内字符序列相似性的可自定义加权，以针对特定用例微调精确率和召回率。
• 该方法默认为完全无监督，但支持轻量级监督以调整权重以适应特定任务需求。
• 该算法使用Python实现，设计为无需外部依赖或人工整理即可轻松部署和自定义。

实验结果

研究问题

• RQ1 相较于现有的音似或基于规则的方法，以数据为中心的无监督方法能否生成更准确、更相关的复杂医学术语拼写错误变体？
• RQ2 在使用生成的拼写错误时，该系统在从Twitter等噪声源检索真实世界健康相关内容方面的有效性如何？
• RQ3 语义和词汇过滤在多大程度上能减少拼写错误变体生成中的误报，同时保持高召回率？
• RQ4 该系统能否在不重新训练的情况下，根据应用需求自定义优先考虑精确率或召回率？
• RQ5 该系统的性能在不同医学领域（如药物名称和疾病术语）中如何变化？

主要发现

• 在20种药物名称的基准数据集上，该系统取得了0.69的F1得分，优于当前最先进方法。
• 在使用癌症相关术语进行外部评估时，引入生成的变体使Twitter检索率提升超过67%。
• 通过过滤掉词汇相似但语义无关的术语，该系统显著减少了误报，提高了精确率。
• 加权变体生成模式成功降低了如度洛西汀和帕罗西汀这类密切相关的药物的误报率。
• 该系统生成了少量、易于管理的高质量变体，适用于Twitter等关键词受限的API。
• 错误分析表明，嵌入空间中代表性不足的低频拼写错误是召回率偏低的主要原因，提示使用更大规模或领域特定的训练数据可进一步提升性能。