[论文解读] Learning Structured Text Representations

Yang Liu, Mirella Lapata|arXiv (Cornell University)|May 25, 2017

Topic Modeling参考文献 47被引用 8

一句话总结

本文提出了一种可微分的、端到端的神经模型，通过利用矩阵树定理归一化整合非项目化依存解析机制，学习结构化的文本表示，使模型能够在无需外部解析器或标注的情况下，诱导出可解释的、任务特定的语篇结构。该方法在文档建模任务中达到最先进性能，同时生成与语言直觉高度一致的有意义非项目化依存树。

ABSTRACT

In this paper, we focus on learning structure-aware document representations from data without recourse to a discourse parser or additional annotations. Drawing inspiration from recent efforts to empower neural networks with a structural bias, we propose a model that can encode a document while automatically inducing rich structural dependencies. Specifically, we embed a differentiable non-projective parsing algorithm into a neural model and use attention mechanisms to incorporate the structural biases. Experimental evaluation across different tasks and datasets shows that the proposed model achieves state-of-the-art results on document modeling tasks while inducing intermediate structures which are both interpretable and meaningful.

研究动机与目标

• 学习对结构化依赖关系敏感的文档级表示，而无需依赖语篇解析器或标注结构。
• 解决现有基于注意力的文档建模模型中项目化依存解析的局限性以及非可微分推理的问题。
• 开发一种高效、可微分的训练过程，支持长文档，并实现结构偏差的端到端学习。
• 评估所诱导的结构化依赖关系是否在未接触语言学标注的情况下仍具有可解释性和意义。

提出的方法

• 利用基尔霍夫矩阵树定理，将可微分的非项目化解析算法集成到神经序列模型中，以计算依存树上的边际概率。
• 通过加权拉普拉斯矩阵的行列式对句内注意力分数进行归一化，确保可微分性，并支持端到端训练。
• 采用结构化注意力机制，根据所诱导的非项目化依存结构关注句子表示。
• 采用GPU并行化的训练过程，避免使用顺序的Inside-Outside算法，相比先前方法显著缩短训练时间。
• 通过先对句子进行编码，再利用所诱导的结构化依赖关系聚合句子，将模型应用于文档级任务。
• 利用注意力机制动态加权句子，依据其在所诱导依存树中的结构角色。

实验结果

研究问题

• RQ1 神经模型能否从未标注的原始文本中学习到有意义的非项目化语篇结构，而无需任何语言学标注或外部解析器？
• RQ2 通过矩阵树归一化实现的端到端可微分解析，与非可微分或项目化解析方法相比，在文档表示学习中表现如何？
• RQ3 所诱导的依存结构在多大程度上与语言学动机的语篇结构相似？它们是否具有可解释性？
• RQ4 与标准注意力或池化基线相比，引入所诱导的结构化依赖关系是否能提升文档级自然语言处理任务的性能？
• RQ5 该模型能否在长文档上实现泛化，并通过GPU并行化操作保持计算效率？

主要发现

• 该模型在文档建模任务（包括情感分析、文本分类和摘要生成）中达到最先进性能，且未使用任何语篇解析器或标注结构。
• 所诱导的依存树具有可解释性和意义，在Yelp数据集上79.6%的树为项目化，且表现出一致的语篇关系（如详述关系）。
• 在CZ Movies数据集上，该模型与Stanford解析器在头-依存边上的一致率达到82.8%，尽管从未接触过真实解析结果。
• 平均树深度较低（Yelp数据集上为2.81），表明大多数文档具有浅层语篇结构，与文档短小的特性一致。
• 训练过程相比基于Inside-Outside的模型显著更快，避免了因动态规划导致的先前方法中10倍的性能下降。
• 注意力机制倾向于形成直接的、短距离的依赖关系（如将词语与动词关联），这在信息聚合方面更为有效。