[论文解读] In Search for Linear Relations in Sentence Embedding Spaces

Petra Baranċíková, Ondřej Bojar|arXiv (Cornell University)|Oct 8, 2019

Topic Modeling参考文献 22被引用 6

一句话总结

本文研究了对句子进行小规模、受控的修改（如词语替换、添加形容词或改变标点符号）是否会在句子嵌入空间中产生一致且可解释的向量差异。基于SNLI和MultiNLI的数据集，作者识别出60种常见的编辑模式，并发现ELMo、InferSent和USE-T等模型能将这些语义编辑以线性向量操作的形式保留下来，表明句子嵌入编码了与语言修改相对应的有意义的几何关系。

ABSTRACT

We present an introductory investigation into continuous-space vector representations of sentences. We acquire pairs of very similar sentences differing only by a small alterations (such as change of a noun, adding an adjective, noun or punctuation) from datasets for natural language inference using a simple pattern method. We look into how such a small change within the sentence text affects its representation in the continuous space and how such alterations are reflected by some of the popular sentence embedding models. We found that vector differences of some embeddings actually reflect small changes within a sentence.

研究动机与目标

• 探索小规模、系统性的句子修改是否会在句子嵌入空间中产生一致的向量差异。
• 识别并分类能引发句子嵌入中可预测变化的常见句子编辑模式。
• 评估主流句子嵌入模型（如ELMo、InferSent、USE-T）是否通过向量空间中的线性操作反映这些变化。
• 评估利用向量空间操作进行受控改写或句子语义操作的潜力。

提出的方法

• 从SNLI和MultiNLI数据集中提取仅发生微小文本变化（如词语替换、添加形容词）的句子对。
• 采用基于模式的方法，通过寻找最长公共子串并将其替换为变量，识别出常见的编辑模板，最终得到60种不同的编辑模式。
• 使用ELMo、InferSent、LASER和USE-T计算句子嵌入，然后计算成对句子之间的向量差异。
• 使用k-means聚类方法对得到的向量差异进行聚类，以识别具有相似语义操作的组别。
• 分析同一编辑模式在多个实例中向量差异的几何一致性。
• 通过测量相同编辑类型在数据集中多次产生相似向量差异的频率，评估这些模式的鲁棒性。

实验结果

研究问题

• RQ1 小规模、受控的句子文本修改（如词语替换、添加形容词）是否会在句子嵌入空间中产生一致且可解释的向量差异？
• RQ2 诸如性别替换、情感变化或数量修改等常见语言编辑模式，能否在嵌入空间中被可靠地表示为线性操作？
• RQ3 与其它模型相比，主流句子嵌入模型（如ELMo、InferSent、USE-T）在多大程度上保留了这些线性关系？
• RQ4 由语义编辑引发的向量差异是否在操作空间中聚类分布，表明语言转换存在结构化的表征？

主要发现

• 具有相同编辑模式（如'man' → 'woman'）的句子对之间的向量差异在多个实例中保持一致，表明句子嵌入将此类变化编码为线性操作。
• ELMo、InferSent、LASER和USE-T均表现出对编辑模式的强保留能力，其中ELMo在每种模式出现20多次的情况下表现尤为一致。
• 向量差异的聚类按语义类型分组，如性别替换（聚类6）、情感变化（聚类3）或数量省略（聚类4），表明操作空间中存在结构化的几何组织。
• 该方法识别出60种常见编辑模式，成功率在1/5至196/196之间，表明像'X woman Y → X man Y'或'X young Y → X sad Y'这类常见编辑具有高度一致性。
• 像'X -> X not Y'或'X -> there is X'这类模式的向量差异始终较小且可预测，表明嵌入空间反映了句法和语用上的修改。
• 本研究证明，句子嵌入可通过向量算术支持受控的语义操作，具有在改写和文本生成中应用的潜力。