[论文解读] Pairwise Inner Product Distance: Metric for Functionality, Stability, Dimensionality of Vector Embedding

Zi Yin|arXiv (Cornell University)|Mar 1, 2018

Blind Source Separation Techniques参考文献 48被引用 1

一句话总结

本文提出了成对内积（PIP）损失，这是一种保持酉不变性的度量方法，用于量化向量嵌入之间的功能差异。通过将嵌入训练建模为含噪矩阵分解，揭示了在维度选择中的根本偏差-方差权衡，利用信号谱和噪声方差给出了PIP损失的上界，从而为向量嵌入最优维度选择这一长期开放问题提供了理论解答。

ABSTRACT

In this paper, we present a theoretical framework for understanding vector embedding, a fundamental building block of many deep learning models, especially in NLP. We discover a natural unitary-invariance in vector embeddings, which is required by the distributional hypothesis. This unitary-invariance states the fact that two embeddings are essentially equivalent if one can be obtained from the other by performing a relative-geometry preserving transformation, for example a rotation. This idea leads to the Pairwise Inner Product (PIP) loss, a natural unitary-invariant metric for the distance between two embeddings. We demonstrate that the PIP loss captures the difference in functionality between embeddings. By formulating the embedding training process as matrix factorization under noise, we reveal a fundamental bias-variance tradeoff in dimensionality selection. With tools from perturbation and stability theory, we provide an upper bound on the PIP loss using the signal spectrum and noise variance, both of which can be readily inferred from data. Our framework sheds light on many empirical phenomena, including the existence of an optimal dimension, and the robustness of embeddings against over-parametrization. The bias-variance tradeoff of PIP loss explicitly answers the fundamental open problem of dimensionality selection for vector embeddings.

研究动机与目标

• 建立基于分布假设和酉不变性的向量嵌入理论基础。
• 解决向量嵌入中维度最优选择这一长期开放问题。
• 通过噪声感知的矩阵分解框架，形式化嵌入稳定性、功能性和维度之间的关系。
• 基于可观测数据统计量（信号谱和噪声方差）推导出嵌入距离的上界。
• 解释诸如对过参数化具有鲁棒性以及存在最优维度等经验现象。

提出的方法

• 提出成对内积（PIP）损失作为酉不变度量，用于衡量嵌入之间的功能差异。
• 将嵌入训练过程建模为含噪条件下的矩阵分解，将优化与谱特性联系起来。
• 应用摄动理论分析稳定性，并基于信号谱和噪声方差推导出PIP损失的上界。
• 证明酉不变变换保持嵌入的功能性，从而支持将PIP用作功能度量。
• 运用稳定性理论工具，刻画噪声如何影响嵌入相似性和泛化能力。
• 基于谱参数和噪声参数，推导出嵌入维度中偏差与方差之间的理论权衡。

实验结果

研究问题

• RQ1 如何定义一种酉不变度量，以捕捉向量嵌入之间的功能差异？
• RQ2 最优嵌入维度存在的理论基础是什么？
• RQ3 训练过程中的噪声如何影响嵌入的稳定性和泛化能力？
• RQ4 我们能否基于数据推断出嵌入距离的上界，以解释对过参数化的鲁棒性？
• RQ5 信号谱、噪声方差与嵌入维度中偏差-方差权衡之间的关系是什么？

主要发现

• PIP损失为嵌入之间的功能差异提供了酉不变的度量，其基础是分布假设。
• 该框架揭示了嵌入维度中的根本偏差-方差权衡，解释了为何过参数化并不总是降低性能。
• 仅使用可观测的信号谱和噪声方差，即推导出PIP损失的上界，这两者均可从数据中推断。
• 理论分析解释了最优嵌入维度存在的经验现象，解决了长期存在的开放问题。
• 模型表明，由于PIP损失中固有的偏差-方差权衡，嵌入在过参数化下仍保持稳定和功能性。
• 该框架提供了一种基于可观测数据统计量评估嵌入质量和稳定性的系统方法。