[论文解读] Foundations of Coupled Nonlinear Dimensionality Reduction

Dmitry Storcheus, Mehryar Mohri+1 more|arXiv (Cornell University)|Sep 29, 2015

Sparse and Compressive Sensing Techniques参考文献 21被引用 5

一句话总结

本文提出了一种耦合非线性降维框架，整合流形学习与监督预测。通过使用 Rademacher 复杂度，建立了新的泛化误差界，显示上界为 $\widetilde{O}(\sqrt{\Lambda_{(r)}/m})$，其中 $\Lambda_{(r)}$ 是核矩阵的 Ky-Fan $r$-范数，并提出了一种结构风险最小化算法，联合学习低维流形与流形上的分离函数。

ABSTRACT

In this paper we introduce and analyze the learning scenario of \emph{coupled nonlinear dimensionality reduction}, which combines two major steps of machine learning pipeline: projection onto a manifold and subsequent supervised learning. First, we present new generalization bounds for this scenario and, second, we introduce an algorithm that follows from these bounds. The generalization error bound is based on a careful analysis of the empirical Rademacher complexity of the relevant hypothesis set. In particular, we show an upper bound on the Rademacher complexity that is in $\widetilde O(\sqrt{\Lambda_{(r)}/m})$, where $m$ is the sample size and $\Lambda_{(r)}$ the upper bound on the Ky-Fan $r$-norm of the associated kernel matrix. We give both upper and lower bound guarantees in terms of that Ky-Fan $r$-norm, which strongly justifies the definition of our hypothesis set. To the best of our knowledge, these are the first learning guarantees for the problem of coupled dimensionality reduction. Our analysis and learning guarantees further apply to several special cases, such as that of using a fixed kernel with supervised dimensionality reduction or that of unsupervised learning of a kernel for dimensionality reduction followed by a supervised learning algorithm. Based on theoretical analysis, we suggest a structural risk minimization algorithm consisting of the coupled fitting of a low dimensional manifold and a separation function on that manifold.

研究动机与目标

• 正式化并分析耦合非线性降维的学习场景，其中流形投影与监督学习被联合优化。
• 为该联合学习流程提供首个泛化误差界，填补理论理解的空白。
• 通过 Ky-Fan $r$-范数对假设集的复杂度进行紧致的上下界分析，以证明假设集选择的合理性。
• 将理论保证扩展至特殊情况，包括固定核的监督降维和无监督核学习后接监督预测。
• 从理论分析中导出一种实用算法，实现对耦合流形学习与分类器学习的结构风险最小化。

提出的方法

• 利用假设集的经验 Rademacher 复杂度推导泛化误差界，适用于耦合降维模型。
• 以核矩阵的 Ky-Fan $r$-范数 $\Lambda_{(r)}$ 表达 Rademacher 复杂度，建立上界 $\widetilde{O}(\sqrt{\Lambda_{(r)}/m})$。
• 提供 Rademacher 复杂度的上下界，以验证假设集定义的紧致性与适当性。
• 提出一种结构风险最小化算法，联合优化低维流形嵌入与流形上的监督分类器。
• 将学习目标表述为在耦合流形与函数空间上最小化正则化经验风险，其依据来自推导出的界。
• 确保理论适用性涵盖监督与无监督核学习设置，支持在降维流程中的广泛应用。

实验结果

研究问题

• RQ1 将非线性降维与后续监督学习结合的机器学习流程的泛化误差行为如何？
• RQ2 如何利用 Rademacher 复杂度衡量并界定耦合降维中假设集的复杂度？
• RQ3 核矩阵的 Ky-Fan $r$-范数在控制耦合学习框架的泛化误差中起什么作用？
• RQ4 耦合降维的理论保证能否扩展至固定核或无监督核学习的情形？
• RQ5 如何从泛化误差界出发，导出一种能联合优化流形学习与分类的合理算法？

主要发现

• 本文首次为耦合非线性降维建立了泛化误差界，Rademacher 复杂度的上界为 $\widetilde{O}(\sqrt{\Lambda_{(r)}/m})$，其中 $m$ 为样本量，$\Lambda_{(r)}$ 为核矩阵的 Ky-Fan $r$-范数。
• 作者同时提供了 Rademacher 复杂度的上下界，验证了假设集定义的合理性，并确认其在 $\Lambda_{(r)}$ 下的紧致性。
• 该理论框架适用于特殊情况，如固定核的监督降维，以及无监督核学习后接监督预测。
• 分析导出了一个新颖的结构风险最小化算法，联合学习低维流形与流形上的分离函数。
• 推导出的界被证明具有信息量且非平凡，Ky-Fan $r$-范数在耦合学习设置中成为核矩阵复杂度的关键度量。
• 结果为集成流形学习与监督预测的端到端学习流程提供了理论基础，支持更优的泛化控制。