[论文解读] AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes

Sascha Rothe, Hinrich Schütze|arXiv (Cornell University)|Jul 4, 2015

Topic Modeling参考文献 43被引用 204

一句话总结

AutoExtend 是一种灵活的方法，通过基于张量的词汇资源约束形式化，将预训练的词嵌入扩展到同义词集和词素的嵌入。通过将词建模为词素的和，同义词集建模为词素的和，它在不重新训练的情况下学习共享的向量空间表示，在词相似度和词义消歧任务上达到最先进性能。

ABSTRACT

We present extit{AutoExtend}, a system to learn embeddings for synsets and lexemes. It is flexible in that it can take any word embeddings as input and does not need an additional training corpus. The synset/lexeme embeddings obtained live in the same vector space as the word embeddings. A sparse tensor formalization guarantees efficiency and parallelizability. We use WordNet as a lexical resource, but AutoExtend can be easily applied to other resources like Freebase. AutoExtend achieves state-of-the-art performance on word similarity and word sense disambiguation tasks.

研究动机与目标

• 将预训练的词嵌入扩展到词汇资源（如 WordNet）中的非词实体（如同义词集和词素）的嵌入。
• 开发一种在输入词嵌入同一向量空间中运行的方法，以实现与下游 NLP 任务的直接兼容性。
• 通过利用词汇资源中的结构约束，避免对额外语料库或重新训练的需求。
• 在词相似度和词义消歧基准上实现最先进性能。
• 提供一种可推广的框架，适用于其他知识库（如 Freebase）和多语言资源。

提出的方法

• 使用张量方程形式化词、词素和同义词集的嵌入，其中词向量是其词素向量的和，同义词集向量是其词素向量的和。
• 为每个词-同义词对引入一个可学习的对角变换矩阵 E(i,j)，将词嵌入分配给词素，每个维度独立处理以提高效率和并行性。
• 施加约束：每个词的变换矩阵之和等于单位矩阵，以确保词素之间的向量守恒。
• 通过张量形式化下的正则化最小二乘优化求解系统，最小化词和同义词的重建误差。
• 应用三种约束的加权组合：词重建、同义词重建和词素一致性，通过超参数调优实现最佳性能。
• 通过学习一个线性变换矩阵 L 来支持多语言扩展，实现跨语言对齐，使跨语言同义词集嵌入计算成为可能。

实验结果

研究问题

• RQ1 我们能否在不重新训练或使用额外语料库的情况下，将预训练的词嵌入扩展到同义词集和词素的嵌入？
• RQ2 基于 WordNet 结构约束的方法在标准 NLP 基准（如词相似度和词义消歧）上的表现如何？
• RQ3 在优化目标中，不同约束（词、同义词、词素）之间的最优平衡是什么？
• RQ4 该方法能否推广到其他知识库（如 Freebase）或多语言资源？
• RQ5 与从零开始训练特定词义嵌入的现有方法相比，AutoExtend 表现如何？

主要发现

• AutoExtend 在 SCWS 词相似度基准上达到最先进性能，优于使用特定词义嵌入的先前方法。
• 在词义消歧任务中，AutoExtend 显著优于简单基线（Snaive），后者仅对同义词集的词向量取平均。
• 当仅使用词嵌入和资源约束时，该方法在 WSD 上表现具有竞争力，无需任何额外训练数据。
• 约束权重（词、同义词、词素）的最优平衡接近相等重要性，加权组合中 θ ∈ [0.2, 0.8] 范围内性能下降极小。
• 通过使用线性变换矩阵对齐跨语言嵌入，该方法在多语言设置中表现出良好泛化能力，支持跨语言同义词集嵌入。
• 作者发布了 AutoExtend 代码、预训练的词素和同义词集嵌入以及评估脚本，确保结果可完全复现。