[论文解读] A Character-Level Length-Control Algorithm for Non-Autoregressive Sentence Summarization

Puyuan Liu, Xiang Zhang+1 more|arXiv (Cornell University)|May 28, 2022

Topic Modeling被引用 4

一句话总结

本文提出NACC，一种基于连接时序分类（CTC）的动态规划算法的非自回归摘要模型，实现显式的字符级长度控制。该模型在Gigaword和DUC2004数据集上达到SOTA的ROUGE分数，推理速度显著快于自回归模型，并在无监督设置下表现更优，能够生成完整且长度受限的摘要，无需截断。

ABSTRACT

Sentence summarization aims at compressing a long sentence into a short one that keeps the main gist, and has extensive real-world applications such as headline generation. In previous work, researchers have developed various approaches to improve the ROUGE score, which is the main evaluation metric for summarization, whereas controlling the summary length has not drawn much attention. In our work, we address a new problem of explicit character-level length control for summarization, and propose a dynamic programming algorithm based on the Connectionist Temporal Classification (CTC) model. Results show that our approach not only achieves higher ROUGE scores but also yields more complete sentences.

研究动机与目标

• 为解决非自回归句子摘要中缺乏显式的字符级长度控制的问题，该问题在移动标题、LED显示屏等实际应用场景中更具现实意义。
• 设计一种方法，确保生成的摘要完整且符合字符预算，避免截断或不完整输出。
• 弥合摘要研究与评估之间的差距，因为字符级约束（如DUC2004中的75字节）虽常见但尚未得到充分关注。
• 实现长度迁移生成，使同一模型能基于相同输入生成不同长度的摘要。
• 在严格的字符级约束下提升ROUGE分数，同时保持高推理效率。

提出的方法

• 将字符级长度控制建模为类似背包问题，其中token的权重为字符数，价值为非自回归模型预测的概率。
• 使用动态规划算法选择一组token，使其总概率最大，同时满足预设的字符预算。
• 引入CTC损失以减少非自回归生成中的重复token，提升流畅性与连贯性。
• 在预测后应用长度控制算法，实现显式控制，无需微调或修改模型的注意力机制。
• 在无监督设置中，使用无监督的词提取方法生成伪参考文本用于训练。
• 利用非自回归模型的并行生成能力，在引入动态规划步骤后仍保持高推理速度。

实验结果

研究问题

• RQ1 与词级控制或截断相比，显式的字符级长度控制是否能提升摘要质量和完整性？
• RQ2 基于CTC和token概率的动态规划方法，是否能实现在非自回归摘要中的精确且高效的长度控制？
• RQ3 在无监督设置下，NACC是否能超越自回归模型，尤其是在训练数据有限且输入输出对齐性强的情况下？
• RQ4 NACC在多大程度上实现了长度迁移生成，即能否基于同一输入生成不同长度的摘要？
• RQ5 字符级长度控制在有监督和无监督设置下，对ROUGE分数和摘要完整性有何影响？

主要发现

• 在Gigaword和DUC2004数据集上，NACC在各种字符级长度约束下，均实现了非自回归模型中的SOTA性能。
• 在无监督设置下，NACC优于自回归Transformer模型，展现出更强的泛化能力与对输入内容的对齐性。
• 定性分析显示，NACC生成的摘要比截断输出更完整，其能保留关键信息且不超出字符预算。
• 即使在加入动态规划长度控制步骤后，NACC仍保持极高的推理效率，速度为自回归模型的数倍。
• 成功实现了长度迁移生成：NACC在不同字符预算下均能生成高质量摘要，ROUGE分数随预算减小呈线性下降，而对比方法则下降更快。
• 动态规划算法有效平衡了长度约束与摘要质量，表现为相比基线方法，ROUGE分数更高，且输出更连贯、更完整。