[论文解读] AttSum: Joint Learning of Focusing and Summarization with Neural Attention

Ziqiang Cao, Wenjie Li+3 more|arXiv (Cornell University)|Apr 1, 2016

Topic Modeling参考文献 27被引用 58

一句话总结

AttSum 提出了一种联合神经网络模型，通过注意力机制同时学习句子与查询的相关性以及句子重要性，无需人工设计特征即可生成分布式句子和文档嵌入。在 DUC 2005–2007 基准测试上，AttSum 取得了具有竞争力的性能，有效识别出符合查询需求的内容，优于依赖人工特征的系统。

ABSTRACT

Query relevance ranking and sentence saliency ranking are the two main tasks in extractive query-focused summarization. Previous supervised summarization systems often perform the two tasks in isolation. However, since reference summaries are the trade-off between relevance and saliency, using them as supervision, neither of the two rankers could be trained well. This paper proposes a novel summarization system called AttSum, which tackles the two tasks jointly. It automatically learns distributed representations for sentences as well as the document cluster. Meanwhile, it applies the attention mechanism to simulate the attentive reading of human behavior when a query is given. Extensive experiments are conducted on DUC query-focused summarization benchmark datasets. Without using any hand-crafted features, AttSum achieves competitive performance. It is also observed that the sentences recognized to focus on the query indeed meet the query need.

研究动机与目标

• 解决抽取式摘要系统中查询相关性与重要性排序孤立训练的局限性。
• 克服参考摘要中监督信号不足的问题，因为参考摘要反映了相关性与重要性之间的权衡。
• 在超越表面特征（如 TF-IDF）的基础上改进查询相关性度量，因为 TF-IDF 无法捕捉语义意图。
• 开发一种数据驱动的端到端模型，自动学习有意义的句子和文档表示。
• 通过聚焦最能回答查询的句子，模拟人类的专注阅读过程。

提出的方法

• 该模型使用神经网络通过加权求和池化方法学习分布式句子嵌入和文档聚类嵌入。
• 应用一种注意力机制，为每个句子计算与查询相关的权重，突出最相关的句子。
• 文档表示通过句子嵌入的加权和形成，其中权重来自注意力机制的相关性得分。
• 注意力机制能够动态聚焦于在语义上同时与查询和文档内容对齐的句子。
• 该模型通过参考摘要进行端到端训练，无需任何人工特征。
• 句子重要性通过注意力机制隐式捕捉，因为高度相关的句子对文档表示的贡献更大。

实验结果

研究问题

• RQ1 与孤立训练相比，联合模型能否同时提升查询相关性和句子重要性排序？
• RQ2 神经注意力机制能否有效模拟在查询聚焦摘要中的人类专注阅读？
• RQ3 无需人工特征的数据驱动端到端模型是否优于依赖工程特征的系统？
• RQ4 高注意力得分的句子是否即使在关键术语缺失的情况下，仍与查询意图在语义上一致？
• RQ5 所学习的文档表示能否支持未来扩展到抽象式摘要？

主要发现

• AttSum 在 DUC 2005–2007 查询聚焦摘要基准上取得了具有竞争力的性能，且未使用任何人工特征。
• 该模型成功识别出符合查询需求的句子，即使内容中缺少关键查询术语，表明其具备超越表面匹配的语义理解能力。
• 高注意力得分的句子在定性分析中始终与查询意图高度相关，例如在 TF-IDF 重叠较低的情况下仍能正确识别出药物合法化的益处。
• 注意力机制有效引导文档表示聚焦于既与查询相关又能代表文档聚类的句子。
• 通过注意力机制联合学习相关性与重要性，相比孤立模型带来了更优性能，因为参考摘要提供了更有效的监督信号。
• 该系统生成有意义语义表示的能力表明，未来可结合神经语言模型扩展至抽象式摘要。