[论文解读] Towards an Automated SOAP Note: Classifying Utterances from Medical Conversations

Benjamin Schloss, Sandeep Konam|arXiv (Cornell University)|Jul 17, 2020

Topic Modeling被引用 8

一句话总结

该论文提出了一种分层深度学习模型，可自动将医疗对话中的语句分类为SOAP笔记部分（主观、客观、评估、计划）及说话人角色（临床医生或患者），在SOAP分类上达到接近人类水平的性能（F1 ≈ 90%），在说话人分类上取得显著提升（F1 +7-11%），并采用双向LSTM上下文建模。此外，该研究提出一种模块化方法，用于将模型适配至噪声ASR转录文本，提升了说话人标注的鲁棒性，但对SOAP分类无改善。

ABSTRACT

Summaries generated from medical conversations can improve recall and understanding of care plans for patients and reduce documentation burden for doctors. Recent advancements in automatic speech recognition (ASR) and natural language understanding (NLU) offer potential solutions to generate these summaries automatically, but rigorous quantitative baselines for benchmarking research in this domain are lacking. In this paper, we bridge this gap for two tasks: classifying utterances from medical conversations according to (i) the SOAP section and (ii) the speaker role. Both are fundamental building blocks along the path towards an end-to-end, automated SOAP note for medical conversations. We provide details on a dataset that contains human and ASR transcriptions of medical conversations and corresponding machine learning optimized SOAP notes. We then present a systematic analysis in which we adapt an existing deep learning architecture to the two aforementioned tasks. The results suggest that modelling context in a hierarchical manner, which captures both word and utterance level context, yields substantial improvements on both classification tasks. Additionally, we develop and analyze a modular method for adapting our model to ASR output.

研究动机与目标

• 为从医疗对话中自动生成SOAP笔记提供严谨的定量基线。
• 开发一种机器学习框架，对语句按SOAP部分和说话人角色进行分类，以支持下游摘要生成与文档自动化。
• 创建一个基准数据集，包含8,130段医疗对话的人工转录与ASR转录，以及对应的优化SOAP笔记。
• 评估使用双向LSTM对语句级表示进行上下文建模在提升分类性能方面的有效性。
• 设计并验证一种模块化方法，用于将NLU模型适配至ASR生成的文本，减少对端到端训练的依赖。

提出的方法

• 该模型采用分层编码器-解码器架构，通过双向LSTM层捕捉词级与语句级上下文。
• 使用双向LSTM对语句嵌入进行上下文建模，以捕捉语句间依赖关系，从而提升分类性能。
• 提出一种模块化适配技术，通过字符串对齐与标签平滑，将人工转录语句映射至ASR转录语句，以应对转录错误。
• 在人工转录与ASR转录数据上对模型进行微调，训练期间应用该映射以提升对ASR噪声的鲁棒性。
• 该方法将ASR与NLU训练分离，允许与Google等预训练ASR系统集成，而无需联合优化。
• 探索了多任务学习设置，联合预测SOAP部分与说话人角色，但未明确报告性能增益。

实验结果

研究问题

• RQ1 分层深度学习模型能否在将医疗对话语句分类为SOAP笔记部分方面实现高性能？
• RQ2 通过双向LSTM建模语句间上下文是否能显著提升SOAP部分与说话人角色分类的准确率？
• RQ3 一种模块化ASR转录适配方法能否在无需端到端训练的情况下提升模型鲁棒性？
• RQ4 在训练中包含ASR生成数据对SOAP部分与说话人角色分类性能有何影响？
• RQ5 语句分割与说话人分离的质量在多大程度上影响模型在ASR数据上的性能？

主要发现

• 分层双向LSTM模型在SOAP部分分类上实现了约90%的F1分数，接近人类水平性能。
• 与非上下文基线相比，使用双向LSTM上下文建模使SOAP部分分类的F1绝对提升了6-7%。
• 在使用双向LSTM上下文建模时，说话人角色分类的F1绝对提升了7-11%，表明其对语句间依赖关系有强敏感性。
• 模块化ASR适配方法在训练数据包含ASR转录时，提升了说话人角色分类的性能，但未提升SOAP部分分类性能。
• 在ASR数据上未见SOAP分类性能提升，可能是因为人工转录模型已达到或接近性能上限，无进一步提升空间。
• 本研究首次为自动化SOAP笔记生成提供了严谨的定量基准，包含一个大规模数据集，涵盖8,130段医疗对话的人工与ASR转录，以及优化的SOAP笔记。