[论文解读] Adding more data does not always help: A study in medical conversation summarization with PEGASUS

Varun Nair, Namit Katariya+3 more|arXiv (Cornell University)|Nov 15, 2021

Topic Modeling被引用 4

一句话总结

本研究探讨了数据规模和迭代标注策略对使用 PEGASUS 模型进行医学对话摘要的影响。研究发现，仅需约 1,000 个标注样本，性能即迅速达到饱和，且主动学习或伪标签策略相较于单纯增加数据量并无显著优势，表明模型容量和领域特定术语限制了更多数据带来的收益。

ABSTRACT

Medical conversation summarization is integral in capturing information gathered during interactions between patients and physicians. Summarized conversations are used to facilitate patient hand-offs between physicians, and as part of providing care in the future. Summaries, however, can be time-consuming to produce and require domain expertise. Modern pre-trained NLP models such as PEGASUS have emerged as capable alternatives to human summarization, reaching state-of-the-art performance on many summarization benchmarks. However, many downstream tasks still require at least moderately sized datasets to achieve satisfactory performance. In this work we (1) explore the effect of dataset size on transfer learning medical conversation summarization using PEGASUS and (2) evaluate various iterative labeling strategies in the low-data regime, following their success in the classification setting. We find that model performance saturates with increase in dataset size and that the various active-learning strategies evaluated all show equivalent performance consistent with simple dataset size increase. We also find that naive iterative pseudo-labeling is on-par or slightly worse than no pseudo-labeling. Our work sheds light on the successes and challenges of translating low-data regime techniques in classification to medical conversation summarization and helps guides future work in this space. Relevant code available at \\url{https://github.com/curai/curai-research/tree/main/medical-summarization-ML4H-2021}.

研究动机与目标

• 评估数据集大小对 PEGASUS 在医学对话摘要任务上微调性能的影响。
• 评估在低资源场景下，主动学习与伪标签策略是否能提升抽取式摘要的性能。
• 确定在医学对话摘要任务中，迭代标注策略是否优于简单的数据扩展。
• 理解在特定领域、低资源的医学 NLP 任务中，使用 PEGASUS 进行迁移学习的局限性。

提出的方法

• 在包含不同数量人工标注摘要的医学对话数据集上微调 PEGASUS 抽象摘要模型。
• 实施了两种标注策略的迭代自训练：专家标注（HL）和伪标签（PL），并利用模型置信度指导样本选择。
• 探索了 HL 的多种采样策略：基于模型不确定性的未标注样本中 Top 1%、Bottom 1% 和随机选取 1%。
• 使用医学概念、肯定陈述的 F1 分数以及 ROUGE 指标评估不同训练集大小和标注迭代次数下的性能表现。
• 与先前工作（包括 Chintagunta 等，2021 年）进行对比，评估在更大标注数据集下的性能表现。
• 开展消融实验以分离伪标签和专家标注的影响，包括无额外标注的基线情况。

实验结果

研究问题

• RQ1 在医学对话摘要任务中，增加标注数据集大小是否能持续带来性能提升？
• RQ2 在低资源场景下，主动学习策略（如选择高置信度或不确定样本）是否优于单纯的数据扩展？
• RQ3 在迭代自训练中，伪标签策略是否能有效提升摘要性能？
• RQ4 模型性能如何随数据集规模趋于饱和？在何种程度后继续标注将不再有效？
• RQ5 在低资源场景下，采样策略（Top 1%、Bottom 1%、Random 1%）对最终性能的影响有多大？

主要发现

• 医学对话摘要任务中，模型性能迅速趋于饱和，1,250 个样本的训练集达到 0.41 的概念 F1，而 6,400 个样本的训练集仅达到 0.43，表明在小规模数据集后收益递减。
• 初始使用 1,000 个样本并进行一次伪标签迭代（选取未标注集的 1%）的模型，达到 0.44 的概念 F1，优于单次迭代下使用 6,400 个人工标注样本的模型（0.43 F1）。
• 伪标签的效果与不使用伪标签相当或略差，性能最大提升出现在第一次自训练迭代之后。
• 所有人工标注策略（Top 1%、Bottom 1%、Random 1%）表现相近，表明采样策略的选择对最终性能影响极小。
• 性能仍显著低于理论最大值（如概念 F1 0.44 对比 0.63），表明存在模型或数据本身的固有限制，而非优化问题。
• 尽管进行了超参数调优，但增加数据后性能未见提升，表明 PEGASUS 可能是高偏差模型，难以适应医学对话中的领域特定术语。