[论文解读] Angular-Based Word Meta-Embedding Learning.

James O’Neill, Danushka Bollegala|arXiv (Cornell University)|Aug 13, 2018

Topic Modeling参考文献 17被引用 3

一句话总结

本文提出了一种基于角度的元嵌入方法，通过优化余弦相似度和Kullback-Leibler散度而非标准的ℓ₁和ℓ₂损失，改进了词表示学习。实验表明，感知归一化的目标函数在词相似度和相关性基准测试中优于传统方法，在无监督设置下性能优于现有的元学习策略。

ABSTRACT

Ensembling word embeddings to improve distributed word representations has shown good success for natural language processing tasks in recent years. These approaches either carry out straightforward mathematical operations over a set of vectors or use unsupervised learning to find a lower-dimensional representation. This work compares meta-embeddings trained for different losses, namely loss functions that account for angular distance between the reconstructed embedding and the target and those that account normalized distances based on the vector length. We argue that meta-embeddings are better to treat the ensemble set equally in unsupervised learning as the respective quality of each embedding is unknown for upstream tasks prior to meta-embedding. We show that normalization methods that account for this such as cosine and KL-divergence objectives outperform meta-embedding trained on standard $\ell_1$ and $\ell_2$ loss on extit{defacto} word similarity and relatedness datasets and find it outperforms existing meta-learning strategies.

研究动机与目标

• 通过元嵌入学习集成多个预训练词嵌入，以改进分布式词表示。
• 解决在下游任务之前，无监督设置下个体嵌入相对质量未知的挑战。
• 探究感知归一化的损失函数（如余弦相似度和KL散度）是否优于标准ℓ₁和ℓ₂损失，以获得更优的元嵌入。
• 评估基于角度距离的目标函数在捕捉词表示语义关系方面的有效性。
• 将所提方法与现有元学习策略在无监督词嵌入集成中进行比较。

提出的方法

• 该方法采用元嵌入学习，将多个预训练词嵌入整合为单一统一表示。
• 提出一种基于角度距离的损失函数，特别使用余弦相似度来度量重构嵌入与目标向量之间的对齐程度。
• 采用Kullback-Leibler（KL）散度作为替代的感知归一化目标，以同时考虑向量长度和方向相似性。
• 使用这些基于角度的目标函数进行模型训练，而非标准的ℓ₁或ℓ₂损失函数。
• 在训练过程中对所有输入嵌入一视同仁，假设其在上游任务中质量未知。
• 最终的元嵌入通过最小化角度距离和归一化距离度量，以保留语义相似性和相关性。

实验结果

研究问题

• RQ1 使用基于角度距离的损失函数（如余弦相似度）是否相比标准ℓ₁和ℓ₂损失能提升元嵌入质量？
• RQ2 感知归一化目标函数（如KL散度）与非归一化损失相比，在捕捉词嵌入语义关系方面表现如何？
• RQ3 基于角度的元嵌入学习能否在无监督词表示学习中超越现有元学习策略？
• RQ4 感知归一化目标在多大程度上缓解了不同向量幅度在集成学习中的影响？
• RQ5 所提方法在标准词相似度和相关性评估基准上的表现如何？

主要发现

• 感知归一化的损失函数（如余弦相似度和KL散度）在元嵌入训练中优于标准ℓ₁和ℓ₂损失。
• 所提的基于角度的元嵌入方法在事实上的词相似度和相关性数据集上表现优于基线方法。
• 该方法在无监督词嵌入集成中持续优于现有元学习策略。
• 使用余弦相似度和KL散度目标函数可生成更鲁棒且语义对齐的元嵌入。
• 结果证实，在使用角度距离和归一化距离度量时，对集成集合一视同仁且不预先知晓嵌入质量的方法是有效的。
• 该方法在基准数据集上表现出强大的泛化能力，表明其在下游NLP任务中的有效性。