[论文解读] Finite Sample Prediction and Recovery Bounds for Ordinal Embedding

Lalit Jain, Kevin Jamieson+1 more|arXiv (Cornell University)|Jun 22, 2016

Sparse and Compressive Sensing TechniquesEngineering参考文献 11被引用 21

一句话总结

该论文在存在噪声的三元组比较条件下，为序数嵌入建立了有限样本的预测与恢复误差界，利用距离矩阵的低秩结构（秩 ≤ d+2）。论文提出了两种新颖算法——rank-d 投影梯度下降法与去偏核范数 PGD，通过利用嵌入空间的几何特性并校正低秩矩阵恢复中的偏差，实现了最先进的性能，具有更快的收敛速度与更高的精度。

ABSTRACT

The goal of ordinal embedding is to represent items as points in a low-dimensional Euclidean space given a set of constraints in the form of distance comparisons like "item $i$ is closer to item $j$ than item $k$". Ordinal constraints like this often come from human judgments. To account for errors and variation in judgments, we consider the noisy situation in which the given constraints are independently corrupted by reversing the correct constraint with some probability. This paper makes several new contributions to this problem. First, we derive prediction error bounds for ordinal embedding with noise by exploiting the fact that the rank of a distance matrix of points in $\mathbb{R}^d$ is at most $d+2$. These bounds characterize how well a learned embedding predicts new comparative judgments. Second, we investigate the special case of a known noise model and study the Maximum Likelihood estimator. Third, knowledge of the noise model enables us to relate prediction errors to embedding accuracy. This relationship is highly non-trivial since we show that the linear map corresponding to distance comparisons is non-invertible, but there exists a nonlinear map that is invertible. Fourth, two new algorithms for ordinal embedding are proposed and evaluated in experiments.

研究动机与目标

• 通过推导有限样本预测与恢复误差界，弥补序数嵌入理论理解的空白。
• 分析在已知噪声模型下，预测误差与嵌入精度之间的关系。
• 设计高效且可证明准确的算法，从噪声的序数约束中恢复低维嵌入。
• 通过识别一种非线性可逆映射，解决从距离差到观测值的线性映射不可逆的问题。
• 提出并评估两种新算法，其在收敛速度与精度方面达到或超越当前最先进水平。

提出的方法

• 利用欧氏距离矩阵在 R^d 中的秩至多为 d+2 的事实，推导预测误差界。
• 使用已知的链接函数 f 建模观察到三元组约束的概率，从而支持最大似然估计。
• 提出 Rank-d 投影梯度下降法（PGD），在每一步中将解投影到格拉姆矩阵的前 d 个特征子空间上。
• 引入核范数 PGD 去偏方法，通过在识别出的子空间上优化重新估计特征值，以校正核范数正则化中的偏差。
• 在格拉姆矩阵 G 上采用非凸优化框架，最小化对已观测三元组比较的逻辑损失。
• 利用等距定理论证，期望风险的黑塞矩阵近似为一个缩放的单位矩阵，暗示可能具备全局收敛性保证。

实验结果

研究问题

• RQ1 当约束受噪声污染时，能否为序数嵌入推导出有限样本预测误差界？
• RQ2 已知的噪声模型如何促成预测误差与嵌入精度之间的关联？
• RQ3 是否存在一种非线性映射，能够反转从距离差到观测值的不可逆线性映射？
• RQ4 基于低秩矩阵恢复的新型算法在序数嵌入中的收敛性与精度特性如何？
• RQ5 在实践中，去偏核范数方法与非凸低秩方法相比表现如何？

主要发现

• 推导出的预测误差界明确依赖于样本数 n、嵌入维度 d 以及观测到的三元组数量。
• 真实距离矩阵的秩至多为 d+2，该性质被用于推导出紧致的有限样本误差界。
• 尽管从距离差到观测值的线性映射本身不可逆，但存在一种非线性映射可实现其可逆化。
• 所提出的 Rank-d PGD 与核范数 PGD 去偏算法在收敛速度与实现简洁性方面均达到或超越当前最先进水平。
• 去偏核范数方法在所有测试的 n、d 与 G* 缩放配置下，性能与 Rank-d PGD 方法高度接近。
• 实验结果表明，当 n ≫ d+2 时，等距条件中最紧致常数 c1 与 c2 的比值与 n 无关，表明在高维设置下具有更好的稳定性。