[论文解读] Incremental Prompting: Episodic Memory Prompt for Lifelong Event Detection

Min‐Qian Liu, Shiyu Chang+1 more|arXiv (Cornell University)|Apr 15, 2022

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文提出了一种名为事件记忆提示（Episodic Memory Prompts, EMP）的新颖增量提示框架，用于类别增量事件检测，通过为每种事件类型使用连续可学习提示，显式保留任务特定知识。通过冻结 BERT 并仅微调提示，同时在各任务间保留先前学习到的提示，EMP 有效缓解了灾难性遗忘，并在 MAVEN 基准测试中实现了最先进性能，平均性能与增量性能均优于强基线模型。

ABSTRACT

Lifelong event detection aims to incrementally update a model with new event types and data while retaining the capability on previously learned old types. One critical challenge is that the model would catastrophically forget old types when continually trained on new data. In this paper, we introduce Episodic Memory Prompts (EMP) to explicitly preserve the learned task-specific knowledge. Our method adopts continuous prompt for each task and they are optimized to instruct the model prediction and learn event-specific representation. The EMPs learned in previous tasks are carried along with the model in subsequent tasks, and can serve as a memory module that keeps the old knowledge and transferring to new tasks. Experiment results demonstrate the effectiveness of our method. Furthermore, we also conduct a comprehensive analysis of the new and old event types in lifelong learning.

研究动机与目标

• 为解决在新数据上训练时模型对先前学习到的事件类型性能下降的问题，即在类别增量事件检测中出现的灾难性遗忘问题。
• 开发一种参数高效的终身学习方法，避免微调整个模型，转而利用提示调优。
• 通过可学习提示显式存储并跨增量学习阶段传递任务特定知识。
• 通过提示驱动的记忆机制实现知识迁移，减少对存储样本的依赖，从而提升泛化能力与鲁棒性。
• 展示基于提示的持续学习在事件检测任务中的有效性，该任务此前尚未使用提示技术进行探索。

提出的方法

• 该方法使用以事件类型名称初始化的连续提示，为增量任务流中每种新事件类型表示任务特定知识。
• 每个提示是一个可学习的嵌入向量，在训练过程中被优化，以引导模型预测并匹配事件提及的表征。
• 提出了一种纠缠提示优化（Entangled Prompt Optimization, EPO）机制，通过鼓励提示反映事件提及的类型特定分布，联合优化提示与模型预测。
• 应用知识蒸馏进一步正则化模型预测，利用来自先前任务的软标签，提升泛化能力。
• 模型在各任务间保留所有先前学习到的提示，形成一种软性情景记忆，实现知识迁移，且推理时无需任务标识。
• 在整个训练过程中冻结 BERT 参数，仅微调提示嵌入，确保参数效率与可扩展性。

实验结果

研究问题

• RQ1 在类别增量事件检测设置中，连续提示能否有效用于存储和传递任务特定知识？
• RQ2 所提出的事件记忆提示（EMP）框架与标准微调和经验回放基线相比，在缓解灾难性遗忘方面表现如何？
• RQ3 使用事件类型名称进行提示初始化在增量学习中对性能的提升程度如何？
• RQ4 纠缠提示优化与知识蒸馏的结合在保持旧任务性能方面有多有效？
• RQ5 EMP 是否能减少对存储样本的依赖，同时在持续学习中保持高性能？

主要发现

• EMP 在 MAVEN 基准测试的五种任务排列下，平均 F1 得分为 60.26，显著优于最佳基线（KT），展现出强大的增量学习能力。
• 消融实验表明，移除提示初始化（EInit）平均导致 F1 分数下降 1.13，证实其对有效提示学习的重要性。
• 移除纠缠提示优化（EPO）平均导致 F1 分数下降 1.24，表明提示与预测的联合优化对知识保留至关重要。
• 知识蒸馏（KD）平均带来 2.79 的 F1 分数提升，证明其在减少遗忘方面的有效性。
• 使用离散提示而非连续提示，平均导致 F1 分数下降 7.73，证明在此设置下连续提示比硬提示更有效。
• 即使每类仅使用 10 个样本，EMP 仍保持优异性能，优于 KT 基线，且相比标准重放缓冲方法表现出更少的过拟合。