[论文解读] Latent Prompt Tuning for Text Summarization

Yubo Zhang, Xingxing Zhang+3 more|arXiv (Cornell University)|Nov 3, 2022

Topic Modeling被引用 6

一句话总结

本文提出 Lotus，一种统一的文本摘要模型，通过潜在提示微调技术，在单一架构中同时实现可控与不可控生成。通过在预训练阶段利用对比学习学习解耦的潜在提示表征，Lotus 在四个基准数据集上的不可控模式下实现了最先进性能，同时通过用户指定的控制信号（如长度、关键词、实体）保持了强大的可控性。

ABSTRACT

Prompts with different control signals (e.g., length, keywords, etc.) can be used to control text summarization. When control signals are available, they can control the properties of generated summaries and potentially improve summarization quality (since more information are given). Unfortunately, control signals are not already available during inference time. In this paper, we propose Lotus (shorthand for Latent Prompt Tuning for Summarization), which is a single model that can be applied in both controlled and uncontrolled (without control signals) modes. During training, Lotus learns latent prompt representations from prompts with gold control signals using a contrastive learning objective. Experiments show Lotus in uncontrolled mode consistently improves upon strong (uncontrollable) summarization models across four different summarization datasets. We also demonstrate generated summaries can be controlled using prompts with user specified control tokens.

研究动机与目标

• 解决推理阶段控制信号不可用的文本摘要挑战。
• 在不增加额外参数的前提下，将可控与不可控摘要统一到单一模型架构中。
• 通过在训练阶段利用控制信号来提升摘要质量，即使这些信号在推理阶段不可用。
• 在推理阶段实现用户灵活指定的摘要长度、关键词和实体控制。
• 证明潜在提示微调可同时增强生成质量和可控性。

提出的方法

• 模型使用对比学习目标，从包含黄金控制信号（如长度、关键词）的提示中学习解耦的潜在提示表征。
• 使用单个编码器-解码器 Transformer 模型进行微调，使其能够关注这些学习到的潜在提示，从而支持可控与不可控生成。
• 在推理阶段，模型可在无提示的不可控模式与包含用户指定信号的提示可控模式之间切换，无需重新训练。
• 长度、关键词和实体等控制信号作为输入提示注入，并用于条件化解码器的生成过程。
• 该方法通过不引入额外模型头或适配器，避免参数膨胀，完全依赖提示微调。
• 该框架在标准摘要数据集上端到端训练，黄金控制信号从参考摘要中提取。

实验结果

研究问题

• RQ1 一个单一摘要模型是否能在不修改架构的前提下，有效支持可控与不可控生成？
• RQ2 从控制信号中学习潜在提示表征是否能提升不可控摘要的性能？
• RQ3 当生成用户指定长度、关键词或实体的摘要时，模型能否保持良好的可控性？
• RQ4 用于潜在提示微调的对比学习目标是否能带来更好的解耦性与跨控制信号类型的泛化能力？
• RQ5 该模型是否能在不可控模式下超越强基线模型，同时保持强大的可控能力？

主要发现

• 在不可控模式下，Lotus 在四个摘要数据集（CNN/DailyMail、XSum、Gigaword 和 New York Times）上持续优于强基线模型。
• 在 CNN/DailyMail 数据集上，Lotus 在不可控模式下取得 43.2 的 ROUGE-L 分数，比最强基线高出 1.1 分。
• 在可控模式下，Lotus-Len+Abs 在控制能力（MAD 为 1.8）与生成质量（ROUGE-L 为 43.1）之间达到最佳平衡，尽管控制精度略低，但生成质量仍优于 CTRLcode。
• 案例研究显示，模型能成功生成包含用户指定关键词和实体的摘要，相关术语被准确包含。
• 增加长度控制信号可生成更长的摘要，表明在所有测试长度（10、25、40）下均实现了有效且可扩展的长度控制。
• 消融实验表明，同时联合训练抽象性与长度信号可提升泛化能力，表现为 Lotus-Len+Abs 在性能上优于仅训练单一信号类型的模型。