[论文解读] An Empirical Study on Post-processing Methods for Word Embeddings

Shuai Tang, Mahta Mousavi+1 more|arXiv (Cornell University)|May 27, 2019

Topic Modeling参考文献 39被引用 8

一句话总结

该论文提出了一种新颖的词嵌入后处理方法，将向量平滑化建模为在半黎曼流形上利用中心化核对齐（CKA）将词嵌入格拉姆矩阵收缩估计至缩放后的单位矩阵。通过优化从 log-CKA 衍生出的下界目标函数，该方法自动确定最优收缩参数，从而在无需手动调整主成分的情况下，提升词和句子相似性任务的性能，尤其在数据稀缺条件下优于现有方法。

ABSTRACT

Word embeddings learnt from large corpora have been adopted in various applications in natural language processing and served as the general input representations to learning systems. Recently, a series of post-processing methods have been proposed to boost the performance of word embeddings on similarity comparison and analogy retrieval tasks, and some have been adapted to compose sentence representations. The general hypothesis behind these methods is that by enforcing the embedding space to be more isotropic, the similarity between words can be better expressed. We view these methods as an approach to shrink the covariance/gram matrix, which is estimated by learning word vectors, towards a scaled identity matrix. By optimising an objective in the semi-Riemannian manifold with Centralised Kernel Alignment (CKA), we are able to search for the optimal shrinkage parameter, and provide a post-processing method to smooth the spectrum of learnt word vectors which yields improved performance on downstream tasks.

研究动机与目标

• 解决现有后处理方法中缺乏系统性、自动化的词嵌入优化方法，以提升相似性与类比性能的问题。
• 将现有后处理技术重新表述为对底层格拉姆矩阵向各向同性结构收缩估计的问题。
• 开发一种基于数据驱动与优化的框架，自动确定最优收缩参数，而无需依赖诸如移除主成分等经验性启发式方法。
• 通过利用半黎曼几何与基于 CKA 的相似性度量，提升在低数据场景下的鲁棒性与性能。
• 提供一种可推广的框架，适用于词嵌入之外的场景，尤其在欧几里得假设不成立时更具适用性。

提出的方法

• 将后处理建模为收缩估计：通过混合参数 β，将预训练词向量的估计格拉姆矩阵与缩放后的单位矩阵（目标）进行组合。
• 使用中心化核对齐（CKA）作为组合矩阵与理想格拉姆矩阵之间相似性的度量，该度量对各向同性缩放与旋转保持不变。
• 推导出 CKA 对数的下界（公式 2），该下界作为优化的目标函数。
• 通过优化该下界的二阶导数，寻找最优收缩参数 β⋆，以确保特征值谱的平滑化。
• 在正半定矩阵的半黎曼流形上执行优化，以尊重格拉姆矩阵的几何结构。
• 将该方法应用于 skip-gram、CBOW 和 GloVe 词向量，并在词与句子相似性基准上进行评估。

实验结果

研究问题

• RQ1 是否可以系统性地将词嵌入的后处理建模为格拉姆矩阵向各向同性结构的收缩估计？
• RQ2 在半黎曼流形上基于 CKA 相似性优化收缩参数，是否能优于诸如移除主成分等启发式方法？
• RQ3 与现有收缩与后处理基线相比，该方法在数据稀缺条件下的表现如何？
• RQ4 推导出的 log-CKA 下界是否在实践中可作为识别最优收缩参数的可靠代理？
• RQ5 该方法是否能跨不同预训练算法（如 skip-gram、CBOW、GloVe）和嵌入维度实现泛化？

主要发现

• 所提方法在 skip-gram 和 CBOW 词嵌入上均实现了一致且稳定的性能提升，优于主成分移除与 Ledoit-Wolf 收缩方法。
• 在 GloVe 嵌入上，该方法性能略逊于主成分移除，但仍带来显著增益，尤其体现在其自动参数选择能力上。
• 在训练数据有限的条件下，该方法在词相似性任务中显著优于两种对比方法，展现出对数据稀缺的强鲁棒性。
• 该方法在不同嵌入维度（200–600）下表现稳定，显示出良好的可扩展性与泛化能力。
• 下界目标函数的二阶导数能有效识别最优收缩参数 β⋆，验证了理论推导的正确性。
• 该方法避免了主成分的手动选择，为启发式后处理技术提供了系统性的替代方案。