[论文解读] Learning Low-Dimensional Metrics

Lalit Jain, Blake Mason+1 more|arXiv (Cornell University)|Sep 18, 2017

Face and Expression Recognition参考文献 1被引用 11

一句话总结

该论文首次建立了从三元组距离比较中学习低维（低秩）和稀疏度量的最小最大最优泛化与样本复杂度边界。它证明了核范数正则化对低秩度量是最优的，并提供了紧致的恢复误差界，表明学习稀疏或低秩度量的难度与学习一般低秩度量相当，仅在对数因子范围内存在差异。

ABSTRACT

This paper investigates the theoretical foundations of metric learning, focused on three key questions that are not fully addressed in prior work: 1) we consider learning general low-dimensional (low-rank) metrics as well as sparse metrics; 2) we develop upper and lower (minimax)bounds on the generalization error; 3) we quantify the sample complexity of metric learning in terms of the dimension of the feature space and the dimension/rank of the underlying metric;4) we also bound the accuracy of the learned metric relative to the underlying true generative metric. All the results involve novel mathematical approaches to the metric learning problem, and lso shed new light on the special case of ordinal embedding (aka non-metric multidimensional scaling).

研究动机与目标

• 开发从比较判断中学习低维度量的泛化与样本复杂度边界。
• 建立与上界在对数因子内匹配的最小最大下界，证明学习算法的最优性。
• 量化所学度量相对于真实底层度量的准确性，这一问题在以往工作中基本被忽视。
• 表明学习稀疏或低秩度量的难度与学习一般低秩度量相当，意味着核范数正则化由于其更少的限制性假设而更具优势。

提出的方法

• 使用新颖的数学框架，推导出从三元组比较中学习低秩和稀疏度量的泛化误差上界。
• 应用Rademacher复杂度和覆盖数技术，以特征维数 $p$ 和度量秩 $d$ 表示样本复杂度的上界。
• 推导出与上界在多项式对数因子内匹配的最小最大下界，证明了学习方法的最优性。
• 引入模型识别误差界，量化所学度量 $\widehat{\mathbf{K}}$ 相对于真实 $\mathbf{K}^*$ 的恢复精度。
• 采用核范数和 $\ell_{1,2}$ 组lasso正则化，分别促进低秩和稀疏解。
• 通过在不同 $p$ 和 $d$ 下的合成数据模拟验证理论结果，测量相对超额风险和恢复误差。

实验结果

研究问题

• RQ1 从三元组比较中学习低秩度量的样本复杂度是多少？它如何随环境维数 $p$ 和秩 $d$ 变化？
• RQ2 度量学习算法的泛化误差如何依赖于内在维数 $d$ 和特征维数 $p$？
• RQ3 能否为低秩和稀疏度量学习推导出与上界匹配的最小最大下界，从而证明算法的最优性？
• RQ4 从带有噪声的三元组比较中，能多准确地恢复真实底层度量 $\mathbf{K}^*$？此类恢复误差存在哪些边界？
• RQ5 学习稀疏度量是否显著比学习低秩度量更困难，还是在统计难度上等价？

主要发现

• 学习低秩度量的样本复杂度为 $O(\gamma n \log n)$，与环境维数 $p$ 无关，显著低于以往假设的水平。
• 最小最大下界与上界在多项式对数因子内匹配，证明了所提学习算法在统计上的最优性。
• 学习稀疏或低秩度量在统计上与学习一般低秩度量同样困难，意味着核范数正则化在实践中并非过度限制。
• 在模拟实验中，核范数正则化在稠密低秩度量上优于 $\ell_{1,2}$ 正则化，而 $\ell_{1,2}$ 在稀疏度量上表现更优，且两种方法均显著优于无约束基线。
• 相对超额风险在样本数与 $d$ 和 $p$ 线性相关时降至 0.1 以下，证实了理论样本复杂度边界。
• 恢复误差 $\|\widehat{\mathbf{K}} - \mathbf{K}^*\|_F^2 / \|\mathbf{K}^*\|_F^2$ 被界为 $O\left(\sqrt{\frac{\gamma n \log n}{|\mathcal{S}|}}\right)$，表明随着样本量增加，误差趋于收敛。