[论文解读] Modelling, Visualising and Summarising Documents with a Single Convolutional Neural Network

Misha Denil, Alban Demiraj+3 more|arXiv (Cornell University)|Jun 15, 2014

Topic Modeling参考文献 28被引用 91

一句话总结

本文提出一种单一、统一的卷积神经网络（CNN）模型，通过应用分层卷积操作，联合学习词、句子和文档级别的表征。该模型保留了词和句子的顺序，支持端到端的文档分类，并支持可解释的可视化，可直接生成高质量的自动文本摘要，无需额外训练或特征工程。

ABSTRACT

Capturing the compositional process which maps the meaning of words to that of documents is a central challenge for researchers in Natural Language Processing and Information Retrieval. We introduce a model that is able to represent the meaning of documents by embedding them in a low dimensional vector space, while preserving distinctions of word and sentence order crucial for capturing nuanced semantics. Our model is based on an extended Dynamic Convolution Neural Network, which learns convolution filters at both the sentence and document level, hierarchically learning to capture and compose low level lexical features into high level semantic concepts. We demonstrate the effectiveness of this model on a range of document modelling tasks, achieving strong results with no feature engineering and with a more compact model. Inspired by recent advances in visualising deep convolution networks for computer vision, we present a novel visualisation technique for our document networks which not only provides insight into their learning process, but also can be interpreted to produce a compelling automatic summarisation system for texts.

研究动机与目标

• 开发一种统一的深度学习模型，通过分层组合词和句子表征，捕捉文档中的组合语义。
• 在文档表征中保留词和句子的顺序，避免袋装词或n-gram模型固有的信息损失。
• 通过应用于学习到的卷积滤波器的新颖可视化技术，实现自动文本摘要。
• 证明单一训练用于分类的模型可直接重用于摘要生成与可解释性分析，而无需微调。
• 探索无监督预训练在提升该框架中文档表征学习质量方面的潜力。

提出的方法

• 该模型采用两级分层CNN：首先在句子内对词嵌入应用卷积操作，然后在文档层面的句子嵌入上应用卷积操作。
• 每一层均采用改进的动态卷积神经网络（DCNN），结合级联卷积、最大池化和tanh非线性激活，以学习分层特征。
• 跨句子使用共享权重，确保一致的句子级表征学习，促进泛化能力与参数效率。
• 通过反向传播端到端训练模型，使用Softmax分类器对最终文档嵌入进行分类。
• 利用滤波器激活的可视化（受Simonyan等人启发）识别关键词和句子，作为自动摘要的基础。
• 摘要通过选择可视化图中激活度最高的最多20%的句子生成，无需额外微调。

实验结果

研究问题

• RQ1 单一、统一的CNN模型能否在保留词和句子顺序的同时，有效学习文档的分层表征？
• RQ2 在文档级CNN中，对内部卷积滤波器的可视化在多大程度上能提供关于模型推理过程的可解释性洞察？
• RQ3 是否可以将用于文档分类的同一模型直接重用于基于激活注意力的自动文本摘要？
• RQ4 在摘要生成任务中，该模型的性能与启发式基线方法（如仅选择第一句）相比如何？
• RQ5 在该框架中，无监督预训练在提升学习到的文档表征质量方面具有多大潜力？

主要发现

• 该模型在文档分类任务中表现出色，且无需任何手工设计特征，证明了分层卷积端到端学习的有效性。
• 滤波器激活的可视化成功识别出语义上重要的词和句子，为模型内部推理过程提供了可解释性。
• 基于可视化的摘要方法优于仅选择第一句的启发式方法，如图3的定性示例所示。
• 该模型通过基于激活模式选择最多20%最具显著性的句子，生成连贯且相关的摘要。
• 同一模型在完成分类任务训练后，可直接用于摘要生成与可视化，无需重新训练或修改网络结构。
• 分层架构实现了词、句子与文档表征的联合学习，支持单一参数化系统在多个下游任务中的应用。