[论文解读] Generalization Bounds for Metric and Similarity Learning

Qiong Cao, Zheng-Chu Guo+1 more|arXiv (Cornell University)|Jul 23, 2012

Face and Expression Recognition参考文献 21被引用 20

一句话总结

该论文通过将分析简化为与特定矩阵范数相关的'独立同分布样本块之和'的Rademacher复杂度估计，为度量学习和相似性学习建立了新颖的泛化界。结果表明，$L^1$-范数正则化在高维设置下显著优于Frobenius范数，从而推进了对稀疏度量学习理论理解的深入。

ABSTRACT

Recently, metric learning and similarity learning have attracted a large amount of interest. Many models and optimisation algorithms have been proposed. However, there is relatively little work on the generalization analysis of such methods. In this paper, we derive novel generalization bounds of metric and similarity learning. In particular, we first show that the generalization analysis reduces to the estimation of the Rademacher average over "sums-of-i.i.d." sample-blocks related to the specific matrix norm. Then, we derive generalization bounds for metric/similarity learning with different matrix-norm regularisers by estimating their specific Rademacher complexities. Our analysis indicates that sparse metric/similarity learning with $L^1$-norm regularisation could lead to significantly better bounds than those with Frobenius-norm regularisation. Our novel generalization analysis develops and refines the techniques of U-statistics and Rademacher complexity analysis.

研究动机与目标

• 为尽管广泛应用但缺乏泛化分析的度量与相似性学习提供解决方法。
• 为任意矩阵范数正则化器构建统一的理论泛化界框架。
• 比较不同正则化策略（特别是$L^1$与Frobenius范数）在高维设置下的有效性。
• 将Rademacher复杂度与U-统计量技术扩展至度量/相似性学习场景。

提出的方法

• 将泛化分析简化为与特定矩阵范数相关的'独立同分布样本块之和'的Rademacher平均估计。
• 提出一种专为度量与相似性学习设计的新Rademacher复杂度框架，利用U-统计量理论。
• 通过估计各种矩阵范数（包括Frobenius、$L^1$、混合$(2,1)$和迹范数）的Rademacher复杂度来推导界。
• 利用先进的集中不等式和矩阵谱范数分析来界定泛化误差。
• 将该框架应用于平方马氏距离和双线性相似性函数。
• 在强假设下（包括最小二乘损失和固定偏差）建立一致性结果，利用协方差算子的特征值界。

实验结果

研究问题

• RQ1 如何为具有任意矩阵正则化的度量与相似性学习形式化推导泛化界？
• RQ2 $L^1$-范数正则化相对于Frobenius范数在泛化误差方面有何相对优势？
• RQ3 Rademacher复杂度与U-统计量能否有效结合以分析度量学习的泛化性能？
• RQ4 输入数据的维度如何影响不同正则化器下泛化界的紧致性？
• RQ5 在样本量趋于无穷的极限下，什么条件能确保学习到的度量或相似性矩阵的一致性？

主要发现

• 采用$L^1$-范数正则化的稀疏度量与相似性学习在高维设置下显著优于Frobenius范数正则化，泛化界更紧致。
• $L^1$-正则化学习的泛化误差界为$O(\sqrt{\log d / n})$，优于Frobenius正则化的$O(\sqrt{d / n})$。
• 所提出的Rademacher复杂度框架成功处理了包括混合$(2,1)$-范数和迹-范数在内的各种一般矩阵范数，提升了适用范围。
• 对于最小二乘损失与固定偏差，学习到的矩阵$M_{\bf z}$的一致性已建立，其在Frobenius范数下的收敛速度为$O(n^{-1/4})$。
• 分析表明，$L^1$-正则化促进了学习到的度量中的稀疏性，这与高维数据中泛化性能的提升一致。
• 理论结果得到了对U-统计量的新颖应用和先进集中不等式的支持，将现有工具扩展至度量学习领域。