[论文解读] A survey of automatic de-identification of longitudinal clinical narratives

Vithya Yogarajan, Michael Mayo+1 more|arXiv (Cornell University)|Oct 15, 2018

Machine Learning in Healthcare被引用 8

一句话总结

本综述分析了纵向临床病历自动去标识化系统的发展历程，追溯了从基于规则和仅条件随机场（CRF）模型到混合模型及深度学习方法的演变。文章评估了在主要竞赛（2014年i2b2 UTHealth、2016年CEGS N-GRID）中的表现，指出系统在不同数据集间适应能力有限，并呼吁开发更简单、可复现且可迁移的系统，以提升在基准数据之外的鲁棒性和泛化能力。

ABSTRACT

Use of medical data, also known as electronic health records, in research helps develop and advance medical science. However, protecting patient confidentiality and identity while using medical data for analysis is crucial. Medical data can be in the form of tabular structures (i.e. tables), free-form narratives, and images. This study focuses on medical data in the free form longitudinal text. De-identification of electronic health records provides the opportunity to use such data for research without it affecting patient privacy, and avoids the need for individual patient consent. In recent years there is increasing interest in developing an accurate, robust and adaptable automatic de-identification system for electronic health records. This is mainly due to the dilemma between the availability of an abundance of health data, and the inability to use such data in research due to legal and ethical restrictions. De-identification tracks in competitions such as the 2014 i2b2 UTHealth and the 2016 CEGS N-GRID shared tasks have provided a great platform to advance this area. The primary reasons for this include the open source nature of the dataset and the fact that raw psychiatric data were used for 2016 competitions. This study focuses on noticeable trend changes in the techniques used in the development of automatic de-identification for longitudinal clinical narratives. More specifically, the shift from using conditional random fields (CRF) based systems only or rules (regular expressions, dictionary or combinations) based systems only, to hybrid models (combining CRF and rules), and more recently to deep learning based systems. We review the literature and results that arose from the 2014 and the 2016 competitions and discuss the outcomes of these systems. We also provide a list of research questions that emerged from this survey.

研究动机与目标

• 分析纵向临床病历自动去标识化系统的技术演进。
• 评估系统在主要共享任务（2014年i2b2 UTHealth和2016年CEGS N-GRID竞赛）中的性能与适应能力。
• 识别在不同电子健康记录（EHR）数据集上实现泛化、可复现性以及处理罕见或未登录词PHI的持续挑战。
• 提出关键研究问题，以提升系统的鲁棒性、可迁移性并符合HIPAA标准。

提出的方法

• 系统性回顾2014年i2b2 UTHealth和2016年CEGS N-GRID共享任务的文献与竞赛结果。
• 分析去标识化技术，包括基于规则的系统（正则表达式、词典）、CRF模型、混合CRF-规则系统以及深度学习模型（如LSTM）。
• 评估系统在不同PHI类别（如姓名、日期、地点）以及数据集分布变化下的表现，尤其关注2016年竞赛的track 1A。
• 评估利用较少敏感领域数据（如法律文本、搜索日志）进行迁移学习的潜力，以提升医学文本上的泛化能力。
• 考察人工规则工程的作用及其在适应新数据集时的局限性。
• 探究词嵌入与语义建模对捕捉罕见PHI实例的影响。

实验结果

研究问题

• RQ1 混合系统是否为最优方案，还是端到端机器学习模型（如LSTM）能在不同数据集上表现更优并具备更强泛化能力？
• RQ2 能否从数据中自动学习用于PHI检测的规则和正则表达式，而非手动编写？
• RQ3 除训练频率低之外，还有哪些因素导致PROFESSION和LOCATION等PHI类型F值表现不佳？
• RQ4 能否通过从非医学领域（如法律或搜索日志）迁移学习，提升去标识化系统对新EHR数据的适应能力？
• RQ5 是否可能通过更简单、更可复现的系统实现具有竞争力的性能，而非依赖复杂且不可复现的模型？

主要发现

• 从基于规则和仅CRF的系统转向混合与深度学习模型，带来了渐进的准确率提升，但改进幅度有限，且往往不可复现。
• 大多数系统，尤其是依赖人工构建规则的系统，在新数据集上表现不佳，2016年track 1A竞赛中对未见数据的性能差即为明证。
• 仅有少数系统在2016年track 1A数据集上达到平均性能，表明在不同EHR数据源之间存在显著的适应能力不足。
• 在2014年数据上训练的系统在竞赛后对以往表现不佳的PHI类型实现了性能提升，表明迭代优化与模型调优具有潜力。
• 使用词嵌入与语义建模可能比句法或基于规则的方法更有效地捕捉罕见PHI实例，尤其是在训练数据稀疏时。
• 尽管有所进展，但尚无系统在全部18个HIPAA PHI类别中实现95%的合规率，凸显了全面去标识化仍面临重大挑战。