[论文解读] Context Aware Document Embedding

Zhaocheng Zhu, Junfeng Hu|arXiv (Cornell University)|Jul 5, 2017

Topic Modeling参考文献 16被引用 7

一句话总结

本文提出一种上下文感知的文档嵌入模型，通过深度神经网络为单个词的出现赋予动态、上下文相关的权重，从而在不依赖大规模外部语料库的情况下，提升标准 doc2vec 在语义文本相似度任务上的性能。该方法通过卷积神经网络（CNN）和门控循环单元（GRU）辅助模型学习上下文敏感的注意力机制，改进了传统 IDF 加权方式，生成更细粒度的文档表示，更好地捕捉子主题关键词。

ABSTRACT

Recently, doc2vec has achieved excellent results in different tasks. In this paper, we present a context aware variant of doc2vec. We introduce a novel weight estimating mechanism that generates weights for each word occurrence according to its contribution in the context, using deep neural networks. Our context aware model can achieve similar results compared to doc2vec initialized byWikipedia trained vectors, while being much more efficient and free from heavy external corpus. Analysis of context aware weights shows they are a kind of enhanced IDF weights that capture sub-topic level keywords in documents. They might result from deep neural networks that learn hidden representations with the least entropy.

研究动机与目标

• 解决 doc2vec 的局限性，即对所有词的出现赋予相等权重，忽略其上下文重要性。
• 开发一种无需依赖大规模外部预训练词向量的方法，学习上下文感知的词权重。
• 通过聚焦子主题关键词而非通用词汇，改进文档表示以提升语义文本相似度任务的性能。
• 探究深度神经网络是否通过最小化表示熵，自然学习到具有最小熵的表示，从而导致词贡献的非对称注意力。

提出的方法

• 提出一种新颖的权重估计机制，通过测量当某词被替换时文档向量的变化，来计算每个词出现的贡献度。
• 使用卷积神经网络（CNN）和门控循环单元（GRU）作为辅助模型，预测词替换对文档向量表示的影响。
• 在标准 doc2vec 生成的文档向量上训练辅助模型，利用隐藏状态的变化推断上下文感知权重。
• 每个词的最终上下文感知权重由基础的 IDF 类似项和上下文特定偏差组成，通过端到端训练学习得到。
• 采用负采样和基于 sigmoid 的目标函数，与 word2vec 和 doc2vec 中的 skip-gram 和 DBOW 方法类似。
• 可视化隐藏状态和特征变化，分析不同词如何影响文档向量表示。

实验结果

研究问题

• RQ1 动态、上下文敏感的词权重是否能超越静态加权方法（如 IDF）提升文档嵌入质量？
• RQ2 即使在目标均匀嵌入的情况下，深度神经网络如何影响文档向量中词重要性的分配？
• RQ3 与标准 doc2vec 和 IDF 加权变体相比，上下文感知权重在语义文本相似度任务上的性能提升程度如何？
• RQ4 所学习的上下文感知权重是否比传统词频或 IDF 方法更有效地反映子主题关键词？
• RQ5 文档向量中非对称词重要性的出现，是否源于深度网络最小化表示熵的机制？

主要发现

• 上下文感知权重与 IDF 呈中等程度相关（皮尔逊相关系数 r = 0.5–0.6），但在识别子主题关键词（尤其是稀有或独特词汇）方面更为有效。
• 该模型在性能上可与使用维基百科词向量初始化的 doc2vec 相媲美，但无需任何外部预训练语料库。
• t-SNE 可视化显示，与 IDF 加权模型相比，上下文感知嵌入在聚类上更清晰，尤其在“答案-学生”领域表现最显著。
• CNN 和 GRU 辅助模型对词替换的响应具有异质性：CNN 特征变化最大于高 IDF 词汇，而 GRU 隐藏单元范数下降最多于低 IDF 词汇，表明存在非对称注意力。
• 该模型的注意力机制模拟了认知中的侧向抑制机制，抑制常见词，同时增强罕见且具有上下文定义性的词（如物理文本中的 'difference' 或 'positive'）。
• 作者得出结论：深度神经网络自然学习到最小熵的表示，这解释了即使在目标均匀嵌入的情况下，仍能出现上下文感知、非对称词权重的现象。