[论文解读] Context is Everything: Finding Meaning Statistically in Semantic Spaces.

Eric Zelikman|arXiv (Cornell University)|Mar 22, 2018

Topic Modeling参考文献 14被引用 3

一句话总结

本文提出了上下文显著性（CoSal），一种基于统计的上下文词重要性度量方法，在句子嵌入任务中优于tf-idf和最先进模型。通过利用小范围上下文和短语级语义，CoSal使下游自然语言处理任务（如句子相似度、摘要生成和余弦距离计算）的表示更加准确且具备上下文感知能力，在Facebook的SentEval基准测试中表现优异。

ABSTRACT

This paper introduces Contextual Salience (CoSal), a simple and explicit measure of a word's importance in context which is a more theoretically natural, practically simpler, and more accurate replacement to tf-idf. CoSal supports very small contexts (20 or more sentences), out-of context words, and is easy to calculate. A word vector space generated with both bigram phrases and unigram tokens reveals that contextually significant words disproportionately define phrases. This relationship is applied to produce simple weighted bag-of-words sentence embeddings. This model outperforms SkipThought and the best models trained on unordered sentences in most tests in Facebook's SentEval, beats tf-idf on all available tests, and is generally comparable to the state of the art. This paper also applies CoSal to sentence and document summarization and an improved and context-aware cosine distance. Applying the premise that unexpected words are important, CoSal is presented as a replacement for tf-idf and an intuitive measure of contextual word importance.

研究动机与目标

• 解决tf-idf在捕捉上下文相关词重要性方面的局限性。
• 开发一种简单、理论坚实且计算高效的tf-idf替代方法，用于衡量上下文中的词重要性。
• 通过引入上下文显著性词，改进句子和文档表示学习。
• 通过使用CoSal加权的词袋模型，提升句子嵌入质量。
• 在句子相似度、摘要生成和余弦距离计算等下游自然语言处理任务中实现更优性能。

提出的方法

• 将上下文显著性（CoSal）定义为基于小范围上下文（20+句子）内共现模式的统计词重要性度量。
• 通过使用单字词和双字短语共同构建词向量空间，以捕捉短语级语义。
• 应用CoSal对词袋模型的句子嵌入进行加权，生成具备上下文感知能力的句子表示。
• 利用CoSal改进句子和文档摘要，优先处理具有上下文重要性的词。
• 提出一种基于CoSal的上下文感知余弦距离度量，以更准确反映语义相似性。
• 通过与tf-idf及最先进模型在Facebook的SentEval基准上的对比，验证CoSal的有效性。

实验结果

研究问题

• RQ1 基于上下文的词重要性度量能否在捕捉语义相关性方面优于tf-idf？
• RQ2 与SkipThought和无序句子模型等现有方法相比，CoSal如何提升句子嵌入质量？
• RQ3 在语义空间中，上下文显著性词在多大程度上定义并区分短语？
• RQ4 CoSal能否提升句子和文档摘要任务的性能？
• RQ5 基于CoSal的上下文感知余弦距离能否改善语义相似性估计？

主要发现

• 在Facebook的SentEval基准的所有可用测试中，CoSal均优于tf-idf，证明其在词重要性估计方面具有持续优势。
• 基于CoSal的句子嵌入模型在大多数SentEval任务中达到与最先进模型相当的性能。
• 具有上下文显著性的词在学习到的向量空间中，对短语的定义起着不成比例的重要作用。
• 该模型通过基于上下文强调语义显著性词语，改进了句子和文档摘要。
• 基于CoSal的上下文感知余弦距离比标准余弦距离提供了更准确的语义相似性度量。
• 即使在极小的上下文（20+句子）下，CoSal也能实现有效的表示学习，使其在实际应用中具有可行性。