[论文解读] Low-rank geometric mean metric learning

Mukul Bhutani, Pratik Jawanpuria+2 more|arXiv (Cornell University)|Jun 14, 2018

Face and Expression Recognition参考文献 7被引用 10

一句话总结

该论文提出LR-GMML，即几何均值度量学习（GMML）的低秩变体，通过在Grassmann流形上进行优化，联合学习低维子空间与Mahalanobis度量。其性能与全秩GMML相当，同时计算复杂度随输入维度线性增长，避免了标准GMML的O(d³)计算开销。

ABSTRACT

We propose a low-rank approach to learning a Mahalanobis metric from data. Inspired by the recent geometric mean metric learning (GMML) algorithm, we propose a low-rank variant of the algorithm. This allows to jointly learn a low-dimensional subspace where the data reside and the Mahalanobis metric that appropriately fits the data. Our results show that we compete effectively with GMML at lower ranks.

研究动机与目标

• 解决全秩Mahalanobis度量学习在高维空间中的可扩展性问题。
• 联合学习一个低维子空间与一个适配于该子空间内数据的Mahalanobis度量。
• 将几何均值度量学习（GMML）框架适配至低秩结构，以提升计算效率。
• 在低维子空间中运行的同时，保持与全秩GMML相当的分类准确率。
• 通过在Grassmann流形上进行Riemann优化，实现低秩对称正定（SPD）矩阵的可扩展度量学习。

提出的方法

• 将度量学习建模为在R^d中r维子空间的Grassmann流形上的优化问题。
• 采用固定秩分解A = UBU^T，其中U ∈ R^{d×r}为正交矩阵，B ∈ R^{r×r}为正定矩阵。
• 用低秩分解替代全秩SPD矩阵A，以降低计算成本。
• 利用变换后的相似度与非相似度矩阵的加权几何平均，获得B的闭式解。
• 通过Manopt工具箱在Grassmann流形上使用共轭梯度法优化目标函数。
• 推导出关于U的代价函数的Riemann梯度，从而实现高效优化。

实验结果

研究问题

• RQ1 Mahalanobis度量的低秩近似是否能在降低计算成本的同时保持性能？
• RQ2 在不同数据集和不同秩设置下，低秩GMML的性能与全秩GMML相比如何？
• RQ3 在Grassmann流形上的优化能否有效同时学习子空间与度量？
• RQ4 低秩方法是否对类别不平衡和不同数据分布保持鲁棒性？
• RQ5 与标准GMML相比，所提方法的计算复杂度如何？

主要发现

• LR-GMML在多个UCI数据集上实现的分类错误率与全秩GMML相当，即使在低秩设置下亦然。
• 该方法的计算复杂度随数据对数n线性增长，避免了标准GMML的O(d³)开销。
• 在秩r下，计算成本为O(ndr + nr² + dr² + r³)，对高维数据具有高效性。
• 当t = 0.5时，该公式退化为原始GMML目标，确保与基线的一致性。
• 该算法保持了对子空间基的正交变换不变性，证实了在Grassmann流形上的几何正确性。
• 实验结果表明，LR-GMML在准确率上始终优于或等同于GMML，尤其在低秩设置下表现更优。