[论文解读] Continuous QA Learning with Structured Prompts

Zheng, Yinhe|arXiv (Cornell University)|Aug 31, 2022

Topic Modeling被引用 5

一句话总结

Diana 是一种基于动态架构的终身问答（QA）模型，采用四种分层组织的提示（General、Format、Task 和 Meta），以捕捉多粒度知识。通过结合任务级与实例级组件，并利用可学习的键向量实现知识共享，Diana 在泛化到未见任务方面达到最先进性能，尤其在未见任务基准测试中，相比先前方法最高提升 42.12%。

ABSTRACT

QA models with lifelong learning (LL) abilities are important for practical QA applications, and architecture-based LL methods are reported to be an effective implementation for these models. However, it is non-trivial to extend previous approaches to QA tasks since they either require access to task identities in the testing phase or do not explicitly model samples from unseen tasks. In this paper, we propose Diana: a dynamic architecture-based lifelong QA model that tries to learn a sequence of QA tasks with a prompt enhanced language model. Four types of hierarchically organized prompts are used in Diana to capture QA knowledge from different granularities. Specifically, we dedicate task-level prompts to capture task-specific knowledge to retain high LL performances and maintain instance-level prompts to learn knowledge shared across different input samples to improve the model's generalization performance. Moreover, we dedicate separate prompts to explicitly model unseen tasks and introduce a set of prompt key vectors to facilitate knowledge sharing between tasks. Extensive experiments demonstrate that Diana outperforms state-of-the-art lifelong QA models, especially in handling unseen tasks.

研究动机与目标

• 解决现有终身学习（LL）模型在 QA 任务中的局限性，这些模型要么在推理时需要任务身份，要么无法泛化到未见任务。
• 在不重新训练的前提下，克服顺序 QA 任务学习中的灾难性遗忘。
• 通过结合任务特定与实例特定建模，实现对未见 QA 任务的有效知识迁移与泛化。
• 设计一种基于提示的架构，利用键向量与分层提示组织，动态整合跨任务知识。

提出的方法

• 使用提示增强的预训练语言模型（PLMs）将所有 QA 任务统一转换为序列生成格式。
• 引入四种分层提示类型：General（所有任务共享）、Format（在 QA 格式组内共享）、Task（每项任务专用）和 Meta（用于实例级自适应的动态池）。
• 使用一组可学习的提示键向量，在推理过程中动态组合元提示，实现输入样本的自适应路由。
• 引入基于距离的正则化与多样性约束（如 ADB），以确保元提示键在嵌入空间中实现局部性与覆盖范围的平衡。
• 为未见任务分配独立的任务提示，并利用键向量促进跨任务知识共享。
• 应用调度采样与负采样策略，以提升提示学习与身份检测性能。

实验结果

研究问题

• RQ1 在推理时无需提供任务身份的情况下，终身 QA 模型能否有效泛化到未见任务？
• RQ2 在多粒度层级提示组织下，对知识保留与泛化能力有何影响？
• RQ3 通过正则化键向量动态组合的元提示，在已见与未见任务上的性能提升程度如何？
• RQ4 为未见任务集成专用组件对模型鲁棒性与泛化能力有何影响？
• RQ5 键向量的多样性与局部性对模型检测并适应新任务身份的能力有何贡献？

主要发现

• 在未见任务上，Diana 的测试准确率达到 55.93%，显著优于消融实验中次优基线（54.16%）。
• 消融研究证实，移除元提示组件导致性能下降最大，表明其在终身学习中的关键作用。
• 采用 ADB（对抗性多样性正则化）显著提升了未见任务上的性能（$A_{N'}$），证明其在增强泛化能力方面的有效性。
• 模型的任务身份检测准确率达到 66.97%，超过基线检测器（59.84% 至 63.43%），验证了学习到的提示键向量的有效性。
• 定量分析显示，元提示键分布的多样性（Z=2 时为 1.00）与强局部性（Z=2 时为 0.74）表明嵌入空间中实现了良好的覆盖与聚类平衡。
• 调度采样策略提升了任务提示学习，从而显著改善整体终身学习性能，尤其在已见任务上表现更优。