[论文解读] Automated Scoring of Clinical Patient Notes using Advanced NLP and Pseudo Labeling

Jingyu Xu, Yifeng Jiang+3 more|arXiv (Cornell University)|Jan 18, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

该论文提出了一种使用DeBERTa-v3-large微调并结合掩码语言建模（MLM）预训练和伪标签法的临床患者记录自动评分系统，实现了0.8911的micro-F1分数。通过数据增强和优化推理，该方法提升了模型泛化能力并减少了训练时间，为医学教育和认证评估提供了一种可扩展的解决方案。

ABSTRACT

Clinical patient notes are critical for documenting patient interactions, diagnoses, and treatment plans in medical practice. Ensuring accurate evaluation of these notes is essential for medical education and certification. However, manual evaluation is complex and time-consuming, often resulting in variability and resource-intensive assessments. To tackle these challenges, this research introduces an approach leveraging state-of-the-art Natural Language Processing (NLP) techniques, specifically Masked Language Modeling (MLM) pretraining, and pseudo labeling. Our methodology enhances efficiency and effectiveness, significantly reducing training time without compromising performance. Experimental results showcase improved model performance, indicating a potential transformation in clinical note assessment.

研究动机与目标

• 解决医学教育和认证中临床患者记录人工评分耗时且不一致的问题。
• 通过先进的NLP技术提升临床记录评分模型的性能和泛化能力。
• 通过动态批处理和减少填充等优化策略，降低训练和推理时间。
• 评估伪标签法和MLM预训练在提升临床文本模型鲁棒性方面的有效性。
• 为医疗环境中的临床记录评估提供一种可扩展、高效且准确的自动化解决方案。

提出的方法

• 使用掩码语言建模（MLM）预训练（掩码概率为0.15）对DeBERTa-v3-large进行微调，以增强临床文本的上下文表征能力。
• 应用伪标签法从无标签数据中生成额外的训练样本，提升模型泛化能力和性能。
• 采用动态批处理和分桶技术，最小化填充量，降低训练和推理过程中的计算成本。
• 通过智能填充策略减少有效序列长度，优化推理过程，将推理时间从97分钟缩短至56分钟。
• 使用带Logits的二元交叉熵损失（BCEWithLogitsLoss）对临床记录片段进行二分类训练，对Logits应用Sigmoid激活函数。
• 使用micro-F1分数评估模型性能，平衡分类任务中所有类别上的精确率与召回率。

实验结果

研究问题

• RQ1 MLM预训练能否提升NLP模型在临床记录评分这一专业领域中的性能？
• RQ2 在标注数据有限的临床数据上，伪标签法在多大程度上提升了模型的泛化能力和性能？
• RQ3 填充优化技术在不牺牲模型准确率的前提下，多大程度上减少了推理时间？
• RQ4 MLM预训练与伪标签法的结合对模型收敛速度和最终性能有何影响？
• RQ5 训练加速技术能否使临床记录自动评分更具实际应用价值，适用于真实世界的医学教育场景？

主要发现

• 当同时使用MLM预训练和伪标签法时，DeBERTa-v3-large模型在交叉验证中达到0.8911的F1分数，优于基线模型及单一组件。
• 与基线相比，伪标签法使模型性能提升了0.0032的F1分数，证明其在临床NLP数据增强中的价值。
• MLM预训练与伪标签法的结合实现了最高性能，表明二者在模型学习中具有协同增益。
• 填充优化将推理时间从97分钟减少至56分钟，提升42%，显著增强了实时部署的可行性。
• 在所有测试模型中，DeBERTa-v3-large取得了最高的F1分数（0.8911），优于deberta_v2_xlarge（0.8886）和deberta_v2_xxlarge（0.8904）。
• 采用BCEWithLogitsLoss配合Sigmoid激活函数，实现了对基于片段分类任务的有效学习，有助于获得稳定且准确的预测结果。