[论文解读] Correcting the Common Discourse Bias in Linear Representation of Sentences using Conceptors

Tianlin Liu, João Sedoc+1 more|arXiv (Cornell University)|Nov 17, 2018

Topic Modeling参考文献 14被引用 8

一句话总结

本文提出了一种新颖的软投影方法，利用Conceptors纠正线性句子嵌入中常见的论述偏差问题，即词向量的主成分会扭曲句子表示。通过应用正则化的恒等映射（即Conceptor）来降低主导方向的影响，该方法在临床NLP任务中提升了语义相似度性能，在BioCreative/OHNLP Challenge 2018中优于标准的SIF方法。

ABSTRACT

Distributed representations of words, better known as word embeddings, have become important building blocks for natural language processing tasks. Numerous studies are devoted to transferring the success of unsupervised word embeddings to sentence embeddings. In this paper, we introduce a simple representation of sentences in which a sentence embedding is represented as a weighted average of word vectors followed by a soft projection. We demonstrate the effectiveness of this proposed method on the clinical semantic textual similarity task of the BioCreative/OHNLP Challenge 2018.

研究动机与目标

• 解决线性句子表示中的常见论述偏差问题，即主导的词向量方向会放大噪声并抑制语义信号。
• 开发一种软性、可微分的替代方法，以替代句子嵌入方法中对主成分的硬性移除。
• 通过使用Conceptors精炼句子表示，提升临床语义文本相似度任务的性能。
• 证明Conceptors能够有效建模数据集中共享的语言背景（例如功能词和高频非内容词）。

提出的方法

• 该方法使用Conceptor——一种正则化的恒等映射——对句子嵌入进行软投影，使其远离词向量主成分。
• Conceptor在实际句子的词向量与预定义的停用词集合的组合数据上进行训练，以捕捉共享的论述成分。
• 通过正则化的最小二乘解计算Conceptor矩阵G，以近似实现抑制主导非语义方向的投影。
• 句子嵌入首先通过基于频率的加权（a/(a + p(w))）对词向量进行加权平均生成，然后通过学习到的Conceptor进行投影。
• 该方法与SIF的不同之处在于，采用的是学习到的、自适应的软投影，而非对第一主成分的硬性移除。
• 最终的句子嵌入通过将Conceptor矩阵应用于词向量加权平均结果获得，从而有效滤除常见的论述成分。

实验结果

研究问题

• RQ1 像Conceptor这样的软性、可微分投影机制，是否能在纠正句子嵌入中的论述偏差方面优于硬性主成分移除？
• RQ2 在Conceptor训练过程中整合停用词和频繁非内容词，对表示质量有何影响？
• RQ3 在域外临床文本上，Conceptor方法是否比SIF具有更好的泛化能力，特别是在语义文本相似度任务中？
• RQ4 Conceptors是否能在无需显式标注或复杂架构的情况下，有效建模语料库的共享语言背景？

主要发现

• 在BioCreative/OHNLP Challenge 2018的临床STS数据集上，基于Conceptor的方法优于标准SIF方法，Spearman等级相关系数更高。
• 使用同时包含句子词向量和停用词集合训练的Conceptor，性能优于仅使用句子向量训练的方法。
• 该方法在不依赖深度神经网络的情况下取得优异结果，证明简单的线性模型可通过适当的偏差校正得到显著提升。
• 所提出的方法通过软性抑制词向量空间中的主导非语义方向，有效改善了语义相似度建模。