[论文解读] Evaluating Neural Word Representations in Tensor-Based Compositional Settings

Dmitrijs Milajevs, Dimitri Kartsaklis+2 more|arXiv (Cornell University)|Aug 26, 2014

Topic Modeling参考文献 42被引用 16

一句话总结

本文在基于张量的组合模型中，将神经词嵌入（如 word2vec）与共现统计向量空间进行对比，评估其在自然语言处理任务中的表现。研究发现，在大规模任务（如释义检测和对话行为标注）中，神经嵌入优于传统的计数型向量；而在小规模任务中，两者性能相当，且组合算子的选择比向量类型更具影响力。

ABSTRACT

We provide a comparative study between neural word representations and traditional vector spaces based on co-occurrence counts, in a number of compositional tasks. We use three different semantic spaces and implement seven tensor-based compositional models, which we then test (together with simpler additive and multiplicative approaches) in tasks involving verb disambiguation and sentence similarity. To check their scalability, we additionally evaluate the spaces using simple compositional methods on larger-scale tasks with less constrained language: paraphrase detection and dialogue act tagging. In the more constrained tasks, co-occurrence vectors are competitive, although choice of compositional method is important; on the larger-scale tasks, they are outperformed by neural word embeddings, which show robust, stable performance across the tasks.

研究动机与目标

• 比较神经词嵌入与基于共现的向量空间在组合分布语义模型中的有效性。
• 探究神经词表示是否在多样化的组合任务中比传统计数型向量具有更好的泛化能力。
• 评估不同组合算子（基于张量、加法、乘法）在小规模与大规模任务中的性能影响。
• 确定神经嵌入在大规模任务中表现更优的原因是否源于其网络架构，还是仅仅因为其在更大语料上进行训练。
• 评估神经词向量在真实世界自然语言处理应用中的鲁棒性与可扩展性，超越狭窄且预定义的语言结构。

提出的方法

• 使用三种语义空间：一种基于共现计数（KS14），另一种使用不同计数方法（GS11），第三种使用预训练的 word2vec 神经嵌入（NWE）。
• 实现七个基于张量的组合模型，采用如 Frobenius 复制-对象等多重线性组合操作，将词向量组合为短语和句子表示。
• 同时评估简单的加法与乘法组合算子作为基线进行比较。
• 在四个任务上测试模型：动词消歧、及物句相似度、释义检测（MSR 释义语料库）和对话行为标注（Switchboard 语料库）。
• 使用标准指标衡量性能：消歧与相似度任务使用准确率与 F1 值，释义与对话任务使用准确率。
• 将结果与各任务特定的基线进行比较，包括对话行为标注的单字词袋基线，以及句子相似度任务的词相似度基线。

实验结果

研究问题

• RQ1 在一系列自然语言处理任务中，神经词嵌入是否在组合分布语义模型中优于基于共现的向量空间？
• RQ2 组合算子的选择（基于张量 vs. 加法/乘法）如何影响性能，且这种影响是否随任务类型而异？
• RQ3 神经嵌入在大规模任务中表现更优，是源于其神经架构，还是仅仅因为其在更大语料上进行训练？
• RQ4 在受限的小规模任务中，当结合最优组合算子时，基于共现的向量能否实现具有竞争力的性能？
• RQ5 神经词嵌入在多样化的、真实世界自然语言处理应用中，其鲁棒性如何，尤其是在语言结构约束较少的场景下？

主要发现

• 在大规模任务（如释义检测和对话行为标注）中，神经词嵌入（NWE）始终优于两种基于共现的向量空间（KS14 和 GS11），并在两项任务中均取得最佳结果。
• 在对话行为标注任务中，仅 NWE 空间提供了足够的性能，而 GS11 和 KS14 均低于其各自基线。
• 在小规模任务（如动词消歧与句子相似度）中，神经嵌入表现具有竞争力，但最佳结果对组合算子的选择极为敏感，而非向量类型。
• 在动词消歧任务中，基于张量的组合算子优于简单方法，而在句子相似度任务中，加法组合表现最优，表明性能对任务具有特定敏感性。
• GS11 共现空间在小规模任务中表现稳定，但在大规模任务中表现欠佳，表明其可扩展性相比神经嵌入存在局限。
• 本研究结论认为，word2vec 包中的神经词嵌入在多样化任务中提供了稳定、即插即用的性能，使其成为未来实验的可靠选择。