[论文解读] CBOW Is Not All You Need: Combining CBOW with the Compositional Matrix Space Model

Florian Mai, Lukas Galke+1 more|arXiv (Cornell University)|Feb 18, 2019

Natural Language Processing Techniques被引用 5

一句话总结

本文提出CMOW，一种无监督、高效的训练方法，用于组合矩阵空间模型（Compositional Matrix Space Model），通过矩阵乘法增强词嵌入的顺序感知能力，弥补CBOW在词内容记忆方面的优势。混合CBOW-CMOW模型在语言探针任务上平均提升8%，在11项有监督下游任务上平均提升1.2%，通过结合两种模型的互补优势实现性能提升。

ABSTRACT

Continuous Bag of Words (CBOW) is a powerful text embedding method. Due to its strong capabilities to encode word content, CBOW embeddings perform well on a wide range of downstream tasks while being efficient to compute. However, CBOW is not capable of capturing the word order. The reason is that the computation of CBOW's word embeddings is commutative, i.e., embeddings of XYZ and ZYX are the same. In order to address this shortcoming, we propose a learning algorithm for the Continuous Matrix Space Model, which we call Continual Multiplication of Words (CMOW). Our algorithm is an adaptation of word2vec, so that it can be trained on large quantities of unlabeled text. We empirically show that CMOW better captures linguistic properties, but it is inferior to CBOW in memorizing word content. Motivated by these findings, we propose a hybrid model that combines the strengths of CBOW and CMOW. Our results show that the hybrid CBOW-CMOW-model retains CBOW's strong ability to memorize word content while at the same time substantially improving its ability to encode other linguistic information by 8%. As a result, the hybrid also performs better on 8 out of 11 supervised downstream tasks with an average improvement of 1.2%.

研究动机与目标

• 解决CBOW因向量加法的交换性而无法捕捉词序的问题。
• 开发首个基于矩阵表示的无监督、可扩展的组合矩阵空间模型（CMSM）训练方案。
• 将CBOW与CMOW结合为混合模型，保留CBOW在词内容记忆方面的优势，同时提升语言结构的编码能力。
• 通过实证评估CBOW与CMOW在语言探针任务和下游NLP任务中互补优势的表现。

提出的方法

• 调整CBOW的目标函数与初始化策略，用于训练词矩阵而非词向量，从而支持通过矩阵乘法进行序列组合。
• 使用矩阵乘法作为组合操作，其非交换性可保留词序信息。
• 在大规模未标注文本上端到端训练模型，采用针对矩阵表示定制的类似跳字模型（skip-gram）的目标函数。
• 引入联合训练方案，使CBOW与CMOW嵌入在混合架构中同时学习。
• 利用高效的GPU加速矩阵乘法，保持高推理速度，达到约71,000句/秒的处理速度。
• 通过动态规划与频繁共现词组的预计算，减少序列乘法步骤的数量。

实验结果

研究问题

• RQ1 组合矩阵空间模型能否在无监督、大规模设置下，使用类似CBOW的目标函数实现有效训练？
• RQ2 CMOW在词序敏感性与内容记忆能力方面，与CBOW相比，其语言表征能力如何？
• RQ3 将CBOW与CMOW结合后，在下游NLP任务上的性能提升程度，相较于单独使用任一模型，有多大提升？
• RQ4 该混合模型在需要词序感知的任务（如情感分析与问题分类）中是否表现更优？

主要发现

• 与仅使用CBOW相比，混合CBOW-CMOW模型在语言探针任务上平均提升8%。
• 在11项有监督下游任务中，混合模型相较CBOW平均提升1.2%，在情感分析（SST2、SST5）与问题分类（TREC）任务中提升显著。
• CMOW在捕捉词序与句法结构等语言特性方面表现优异，而CBOW在词内容记忆任务中优于CMOW。
• 混合模型在保留CBOW强大词内容记忆能力的同时，显著增强了其对语言结构的编码能力。
• CMOW实现约71,000句/秒的句子编码速度，与CBOW的61,000句/秒相当，适用于大规模应用。
• 在11项下游任务中，混合模型在8项任务上优于CBOW，仅在两项任务中性能略有下降（0.6%），而CBOW表现略优。