[论文解读] Extraction of Salient Sentences from Labelled Documents

Misha Denil, Alban Demiraj+1 more|arXiv (Cornell University)|Dec 21, 2014

Topic Modeling参考文献 30被引用 85

一句话总结

本文提出一种分层卷积神经网络，通过文档结构的自省能力，从标注文档中提取与主题相关句子。通过将计算机视觉中的可视化技术应用于注意力图，该模型识别出显著句子，在性能上优于随机选择和首/尾句启发式基线方法，采用一种新颖的可扩展评估方法，通过提取句子后分类器准确率的下降来衡量性能。

ABSTRACT

We present a hierarchical convolutional document model with an architecture designed to support introspection of the document structure. Using this model, we show how to use visualisation techniques from the computer vision literature to identify and extract topic-relevant sentences. We also introduce a new scalable evaluation technique for automatic sentence extraction systems that avoids the need for time consuming human annotation of validation data.

研究动机与目标

• 开发一种支持文档结构自省的神经网络架构，以识别显著句子。
• 应用计算机视觉中的可视化技术，解释并从神经网络激活中提取与任务相关的句子。
• 提出一种可扩展的评估方法，用于句子抽取系统，避免昂贵的人工标注。
• 在电影评论中展示该方法在提取情感相关句子方面的有效性。

提出的方法

• 采用两级分层卷积神经网络架构，分别在词级别处理句子、在文档级别处理文档，且句子间共享卷积核。
• 将词嵌入拼接为矩阵，通过带有最大池化和tanh非线性的卷积层生成句子级嵌入表示。
• 将句子嵌入拼接为文档矩阵，再通过第二层卷积神经网络生成文档级表示用于分类。
• 通过反向传播进行端到端训练，使用Softmax分类器预测文档情感。
• 通过可视化最后一层卷积层的激活图来确定显著性，利用基于梯度的归因方法识别高影响句子。
• 提出一种新颖的评估方法：比较在完整文档与提取句子子集上分类器的准确率，以衡量信息保留程度。

实验结果

研究问题

• RQ1 能否设计一种分层卷积神经网络架构，以支持对文档结构的自省，实现句子抽取？
• RQ2 能否将计算机视觉中的可视化技术适配到自然语言处理中，以识别显著且与任务相关的句子？
• RQ3 能否开发一种可扩展的、无需标注的评估方法，用于比较句子抽取系统？
• RQ4 所提出的模型在保留与任务相关的信息方面，相较于随机选择、首/尾句启发式方法以及浅层神经网络基线，表现如何？

主要发现

• 所提出的卷积神经网络模型在仅抽取20%句子的情况下，仍优于所有基线方法，包括首/尾句启发式方法，在保留情感相关信息方面表现更优。
• 该模型始终能够学习忽略非观点类句子（如剧情概要和背景信息），专注于表达情感的内容。
• 评估方法显示，当将参考朴素贝叶斯分类器应用于提取的句子时，准确率下降不足1.5%，表明信息保留程度很高。
• 可视化结果表明，模型为表达明确情感的句子分配了较高的相关性得分，体现出良好的可解释性与任务对齐性。
• 分层架构实现了有效的句子级表征学习，这对准确检测显著句子至关重要。