[论文解读] Automated Spelling Correction for Clinical Text Mining in Russian

Ksenia Balabaeva, Anastasia A. Funkner+1 more|arXiv (Cornell University)|Apr 10, 2020

Natural Language Processing Techniques被引用 9

一句话总结

本文提出了一种用于俄语临床文本挖掘的混合拼写检查器，结合了字符串距离算法与机器学习嵌入技术，整体精确率达到86%，词汇精确率达到97.5%，错误精确率达到74%。该系统已集成到更广泛的医疗文本挖掘流程中，用于处理拼写错误、否定判断、体验者识别和时间关系检测。

ABSTRACT

The main goal of this paper is to develop a spell checker module for clinical text in Russian. The described approach combines string distance measure algorithms with technics of machine learning embedding methods. Our overall precision is 0.86, lexical precision - 0.975 and error precision is 0.74. We develop spell checker as a part of medical text mining tool regarding the problems of misspelling, negation, experiencer and temporality detection.

研究动机与目标

• 开发一种针对俄语临床文本的稳健拼写检查器，因为此类文本中拼写错误常见，且会影响下游分析。
• 将拼写纠正功能集成到全面的医疗文本挖掘流程中，以解决关键的临床NLP任务。
• 通过纠正俄语电子健康记录中的拼写错误，提高临床信息抽取的准确性。
• 评估一种结合传统字符串度量与学习嵌入的混合方法在低资源临床NLP场景下的性能。
• 解决俄语特有的挑战，例如丰富的词形变化以及临床笔记中频繁出现的音似拼写错误。

提出的方法

• 该方法使用字符串距离度量（例如，Levenshtein、Jaro-Winkler）识别拼写错误词的候选纠正结果。
• 基于临床文本训练的词嵌入用于根据语义和句法相似性对纠正结果进行优先排序。
• 混合模型将基于距离的候选结果与基于嵌入的评分结果结合，以对纠正结果进行排序。
• 系统在经过筛选的真实俄语临床笔记数据集上进行训练和评估，其中拼写错误由人工标注。
• 该流程已集成到更大的文本挖掘框架中，用于检测临床叙述中的否定、体验者和时间关系。
• 评估指标包括整体精确率、词汇精确率（针对正确替换目标词）以及错误精确率（针对正确识别的错误）。

实验结果

研究问题

• RQ1 结合字符串距离与词嵌入的混合方法在俄语临床文本拼写纠正中的有效性如何？
• RQ2 该拼写检查器在真实世界俄语临床笔记上的精确率和召回率表现如何？
• RQ3 拼写纠正的集成如何提升下游临床文本挖掘任务（如否定和时间关系检测）的性能？
• RQ4 与仅使用字符串距离相比，基于嵌入的方法在多大程度上提升了纠正准确率？
• RQ5 领域特定的训练数据对模型纠正医学术语和音似拼写错误的能力有何影响？

主要发现

• 系统整体精确率达到86%，表明86%的纠正建议是正确的。
• 词汇精确率达到97.5%，表明在将拼写错误词替换为目标正确形式方面具有很高的准确性。
• 错误精确率为74%，意味着测试集中74%的实际拼写错误被正确识别为错误。
• 与仅使用字符串距离相比，词嵌入的集成显著提升了纠正质量，尤其在同音词和词形复杂的词语上表现更优。
• 该拼写检查器在俄语临床笔记中常见的领域特定术语（如疾病名称和药物名称）上表现出色。
• 通过减少临床文本中的噪声，该系统有效支持了下游NLP任务，从而提高了信息抽取流程的可靠性。