[论文解读] Fast k-best Sentence Compression

Katja Filippova, Enrique Alfonseca|arXiv (Cornell University)|Oct 28, 2015

Natural Language Processing Techniques参考文献 29被引用 5

一句话总结

本文提出了一种快速、有监督的句子压缩方法，通过局部删除决策和句法树上的递归评分过程生成k个最佳压缩结果，推理速度比基于ILP的方法快50倍，同时保持或提升了压缩质量。该方法比先前的ILP方法快两个数量级，并在人类评估中验证了其生成的压缩结果即使在前五名内也具有高质量、可读性强且信息丰富。

ABSTRACT

A popular approach to sentence compression is to formulate the task as a constrained optimization problem and solve it with integer linear programming (ILP) tools. Unfortunately, dependence on ILP may make the compressor prohibitively slow, and thus approximation techniques have been proposed which are often complex and offer a moderate gain in speed. As an alternative solution, we introduce a novel compression algorithm which generates k-best compressions relying on local deletion decisions. Our algorithm is two orders of magnitude faster than a recent ILP-based method while producing better compressions. Moreover, an extensive evaluation demonstrates that the quality of compressions does not degrade much as we move from single best to top-five results.

研究动机与目标

• 开发一种快速、可扩展的句子压缩方法，避免整数线性规划（ILP）带来的高计算成本，同时保持高质量输出。
• 高效生成k个最佳压缩结果，无需依赖诸如束搜索等近似搜索技术。
• 在单个最佳结果之外评估top-k压缩结果的质量，尤其关注可读性和信息量。
• 证明局部删除决策与递归评分相结合，可在不牺牲语法正确性或信息量的前提下生成高质量压缩结果。

提出的方法

• 该方法在依存句法树上运行，将句子压缩视为对子树的剪枝问题。
• 使用在平行语料上训练的最大熵分类器，基于丰富的局部特征预测每条边被删除的概率。
• 递归评分函数通过组合子节点的最佳子压缩结果并保留关键成分，在每个节点计算k个最佳压缩结果。
• 算法通过一次树遍历生成最高分压缩结果，k+1个结果的增量更新时间复杂度为O(m×n)。
• 扩展方法引入节点级评分（NSS），通过整体评估边的子集来提升质量，减少次优删除。
• 系统完全避免使用ILP，转而依赖于句法树结构上的高效动态规划。

实验结果

研究问题

• RQ1 能否设计一种快速、非基于ILP的方法，高效生成高质量的k-best句子压缩？
• RQ2 当从单个最佳结果扩展到前五名结果时，压缩质量是否会显著下降？
• RQ3 局部删除决策与递归评分相结合，能否生成与基于ILP的系统相当的可读且信息丰富的压缩结果？
• RQ4 所提方法在速度和压缩质量方面与基于ILP的方法相比表现如何？

主要发现

• 所提方法在生成单个最佳压缩结果时，速度比基于ILP的基线快50倍，平均处理时间从32,074微秒降至678微秒。
• 在生成前五名压缩结果时，方法实现300倍的速度提升，平均每个结果的处理时间从ILP的42,213微秒降至143微秒（Top-down）。
• 人类评估显示，Top-down方法的可读性得分为4.41，信息量得分为3.91，显著优于ILP基线（分别为4.20和3.78），且在95%置信水平下具有显著性差异。
• 前五名压缩结果的质量保持较高水平：可读性得分为4.41、4.11、4.03、3.80和3.90，表明在列表中质量下降不明显。
• Top-down方法的压缩率（38.3%）低于ILP（46.5%），但F1得分更高（76.7 vs. 73.9），表明尽管剪枝更温和，质量仍更优。
• 引入节点级评分（Top-down + NSS）后，F1得分提升至77.2，且在k=1至k=5范围内均保持高质量，性能无显著下降。