[论文解读] ACI-BENCH: a Novel Ambient Clinical Intelligence Dataset for Benchmarking Automatic Visit Note Generation

Wen‐wai Yim, Yujuan Fu+4 more|arXiv (Cornell University)|Jun 3, 2023

Electronic Health Records SystemsHealth Professions被引用 3

一句话总结

本文介绍了ACI-BENCH，这是目前最大规模的公开临床笔记生成基准数据集，用于评估从医生-患者对话中自动生成临床笔记的性能，包含207对合成的、角色扮演的对话-笔记配对。该研究评估了SOTA模型如BART+FT SAMSum，发现ASR错误对性能影响极小，表明尽管存在临床风险，当前模型对转录噪声仍具有较强的鲁棒性。

ABSTRACT

Recent immense breakthroughs in generative models such as in GPT4 have precipitated re-imagined ubiquitous usage of these models in all applications. One area that can benefit by improvements in artificial intelligence (AI) is healthcare. The note generation task from doctor-patient encounters, and its associated electronic medical record documentation, is one of the most arduous time-consuming tasks for physicians. It is also a natural prime potential beneficiary to advances in generative models. However with such advances, benchmarking is more critical than ever. Whether studying model weaknesses or developing new evaluation metrics, shared open datasets are an imperative part of understanding the current state-of-the-art. Unfortunately as clinic encounter conversations are not routinely recorded and are difficult to ethically share due to patient confidentiality, there are no sufficiently large clinic dialogue-note datasets to benchmark this task. Here we present the Ambient Clinical Intelligence Benchmark (ACI-BENCH) corpus, the largest dataset to date tackling the problem of AI-assisted note generation from visit dialogue. We also present the benchmark performances of several common state-of-the-art approaches.

研究动机与目标

• 为解决当前在训练和评估自动临床笔记生成系统方面，缺乏公开共享、大规模数据集的紧迫问题。
• 为在真实世界临床对话摘要背景下评估生成模型提供标准化基准。
• 调查自动语音识别（ASR）错误对笔记生成性能的影响，鉴于临床数据的高度敏感性。
• 实现基于共享、伦理且具有代表性的数据集，对模型优劣势及评估指标进行系统性比较。
• 支持开发AI辅助临床文档工具，以减轻临床医生的倦怠并提升笔记质量。

提出的方法

• ACI-BENCH数据集通过在单一学术医疗中心录制的角色扮演医生-患者对话构建，临床笔记由受过训练的医疗标注员生成。
• 每段对话均配有一份结构化、半自动化的临床笔记，反映标准电子健康记录（EHR）文档实践，包括医学术语、项目符号及外部EHR引用。
• 数据集包含ASR转录版和人工验证版的转录文本，用于评估模型对语音识别错误的鲁棒性。
• 基线模型（包括在SAMSum数据集上微调的BART，即BART+FT SAMSum）在多个测试划分上使用ROUGE-1、ROUGE-2、ROUGE-L和medcon指标进行评估。
• 实验比较了使用原始ASR转录本与ASR校正后版本的性能，以评估转录错误对笔记生成质量的影响。
• 研究采用训练/验证/测试划分策略，并进行了额外的消融实验，以隔离ASR质量对模型输出的影响。

Figure 1: Note division example. The same content in a clinical note can appear under different sections. As an example, in the left note, “past medical history” contents are written in the “history” portion of the note on the right. To seperate the full note target into smaller text and minimize da

实验结果

研究问题

• RQ1 当在合成但具有临床真实感的对话-笔记对上进行训练和评估时，SOTA生成模型的性能如何变化？
• RQ2 转录对话中的自动语音识别（ASR）错误在多大程度上影响生成临床笔记的质量？
• RQ3 在ASR转录数据上训练的模型能否良好泛化到人工验证的转录本上，反之亦然？
• RQ4 当前的自动评估指标（如ROUGE、medcon）是否足以捕捉生成笔记中临床相关的事实性和结构？
• RQ5 与使用原始ASR转录本相比，在ASR校正数据上进行微调是否能显著提升笔记生成性能？

主要发现

• ACI-BENCH数据集包含207对角色扮演的对话-笔记配对，每轮对话平均源文本长度为1302个词元，每份笔记的目标长度为490个词元。
• 表现最佳的模型BART+FT SAMSum在使用ASR转录本的测试集上取得了49.91的ROUGE-L分数，medcon得分为44.72。
• ASR校正后的转录本并未带来显著的性能提升，所有指标的F1值仅相差约1分，表明模型对ASR错误具有鲁棒性。
• 在ASR校正数据上进行微调并未显著改善性能，表明当前模型即使在存在转录噪声的情况下仍具备良好的泛化能力。
• 研究发现，ROUGE和medcon得分并不总与临床事实性一致，凸显了当前医疗NLP任务评估指标在捕捉临床相关事实方面的不足。
• 尽管数据集具有合成性质，但仍能可靠地用于临床笔记生成模型的基准测试，且揭示了在当前模型设置下，ASR错误是可容忍的。

Figure 2: BERT subtoken lengths of concatenated gold/system summaries (test1 Text-davinci-003 system) for doctor-patient dialogue to clinical note generation task. As embedding-based models require encoding the concatenated reference and hypothesis, on this dataset it would be difficult to fairly ev