[论文解读] Dis-S2V: Discourse Informed Sen2Vec

Tanay Kumar Saha, Shafiq Joty+2 more|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling参考文献 25被引用 3

一句话总结

本文提出 Dis-S2V，一种通过将话语层面关系整合到基于内容的 Sen2Vec 模型中来学习句子表征的新方法。它使用话语图来编码句间关系，并应用 retrofitting 或图正则化来增强向量表征，在分类、聚类和排序任务上的表现显著优于仅基于内容的基线模型。

ABSTRACT

Vector representation of sentences is important for many text processing tasks that involve clustering, classifying, or ranking sentences. Recently, distributed representation of sentences learned by neural models from unlabeled data has been shown to outperform the traditional bag-of-words representation. However, most of these learning methods consider only the content of a sentence and disregard the relations among sentences in a discourse by and large. In this paper, we propose a series of novel models for learning latent representations of sentences (Sen2Vec) that consider the content of a sentence as well as inter-sentence relations. We first represent the inter-sentence relations with a language network and then use the network to induce contextual information into the content-based Sen2Vec models. Two different approaches are introduced to exploit the information in the network. Our first approach retrofits (already trained) Sen2Vec vectors with respect to the network in two different ways: (1) using the adjacency relations of a node, and (2) using a stochastic sampling method which is more flexible in sampling neighbors of a node. The second approach uses a regularizer to encode the information in the network into the existing Sen2Vec model. Experimental results show that our proposed models outperform existing methods in three fundamental information system tasks demonstrating the effectiveness of our approach. The models leverage the computational power of multi-core CPUs to achieve fine-grained computational efficiency. We make our code publicly available upon acceptance.

研究动机与目标

• 通过整合话语层面的句间关系来改进句子表征学习，这些关系在现有仅基于内容的模型中常被忽略。
• 解决在句子表征学习中有效建模和利用话语结构的挑战。
• 评估话语信息对下游 NLP 任务（如分类、聚类和排序）的影响。
• 开发高效、计算轻量的模型，使其在多核 CPU 上具有良好可扩展性。

提出的方法

• 构建一个话语图，其中节点代表句子，边代表句子相似度，以捕捉句间关系。
• 使用 node2vec 算法在话语图上预训练句子表征，以捕捉结构和关系信息。
• 应用两种 retrofitting 策略：(i) 基于邻接关系的迭代 retrofitting，使用一跳邻居；(ii) 一种更具灵活性的邻居选择方法，采用判别式采样。
• 将图平滑正则化项引入原始 Sen2Vec 目标函数中，以联合优化内容与话语信息。
• 通过 retrofitting 或正则化将基于内容的 Sen2Vec 模型（使用 Skip-gram 或 DBOW）与话语感知表征相结合。
• 利用多核 CPU 并行计算，实现在训练和推理阶段的细粒度计算效率。

实验结果

研究问题

• RQ1 句子间的话语关系能否提升分布式句子表征的质量？
• RQ2 如何有效建模并整合句间关系到现有的基于内容的句子嵌入框架中？
• RQ3 整合话语结构是否能在下游 NLP 任务（如分类、聚类和排序）中带来可测量的性能提升？
• RQ4 在 retrofitting 和正则化两种方法中，哪一种能更好地在增强话语感知能力的同时保留语义内容？

主要发现

• 所提出的 Dis-S2V 模型在所有三项任务（分类、聚类和排序）中均优于仅基于内容的 Sen2Vec 基线模型。
• 引入图平滑正则化项的模型在所有任务中均表现出色，表明话语信息得到了稳健整合。
• 基于 retrofitting 的模型在分类和聚类任务中表现显著提升，但在排序任务中效果较弱。
• 话语图表征有效捕捉了句子之间的主题性和逻辑性关系，增强了句子向量的语义连贯性。
• 模型在多核 CPU 上实现了高计算效率和可扩展性，适用于大规模实际应用。