[论文解读] Inductive Kernel Low-rank Decomposition with Priors: A Generalized Nystrom Method

Kai Zhang, Liang Lan+3 more|arXiv (Cornell University)|Jun 18, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用 5

一句话总结

本文提出了一种归纳性、先验感知的低秩核分解方法，通过广义Nyström方法将传统Nyström方法推广，实现了对未见数据的泛化，从而在保持高精度的同时实现高效、可扩展的核学习。通过引入灵活的非参数结构并结合类别标签等辅助信息，该方法在保持线性时间与空间复杂度的同时，显著提升了效率与任务特定性能，优于传统的归纳与无监督方法。

ABSTRACT

Low-rank matrix decomposition has gained great popularity recently in scaling up kernel methods to large amounts of data. However, some limitations could prevent them from working effectively in certain domains. For example, many existing approaches are intrinsically unsupervised, which does not incorporate side information (e.g., class labels) to produce task specific decompositions; also, they typically work "transductively", i.e., the factorization does not generalize to new samples, so the complete factorization needs to be recomputed when new samples become available. To solve these problems, in this paper we propose an"inductive"-flavored method for low-rank kernel decomposition with priors. We achieve this by generalizing the Nyström method in a novel way. On the one hand, our approach employs a highly flexible, nonparametric structure that allows us to generalize the low-rank factors to arbitrarily new samples; on the other hand, it has linear time and space complexities, which can be orders of magnitudes faster than existing approaches and renders great efficiency in learning a low-rank kernel decomposition. Empirical results demonstrate the efficacy and efficiency of the proposed method.

研究动机与目标

• 为解决现有低秩核分解方法通常为归纳性且无监督的局限性，通过实现对新数据的泛化并整合任务特定的辅助信息，提升方法的实用性。
• 开发一种在大规模数据集上保持线性时间与空间复杂度、支持归纳推理的方法，以实现可扩展性。
• 通过在低秩分解过程中嵌入先验信息（如类别标签），对Nyström方法进行推广，以提升任务特定性能。
• 在大规模机器学习的核方法中，实现计算效率与预测精度之间的平衡。

提出的方法

• 通过引入灵活的非参数结构，将Nyström方法推广，使低秩因子可应用于新的、未见过的样本。
• 将先验知识（如类别标签）整合到核分解过程中，实现任务特定的因子分解。
• 采用闭式解进行低秩逼近，使时间与空间复杂度与训练样本数量保持线性关系。
• 通过一组地标点对核矩阵进行分解，并利用学习到的映射将因子分解归纳性地推广至新输入。
• 采用广义Nyström公式，通过以低秩、先验引导的方式建模核函数，实现归纳推理。
• 在正则化目标下优化分解过程，以平衡数据拟合与先验约束，提升鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 低秩核分解能否实现归纳性，以泛化至新的、未见过的样本？
• RQ2 如何有效将类别标签等辅助信息整合到低秩核因子分解过程中？
• RQ3 广义Nyström方法能否在保持精度的同时，实现大规模学习任务中的线性时间与空间复杂度？
• RQ4 引入先验信息对核方法的泛化能力与性能有何影响？
• RQ5 与归纳性及无监督的低秩分解方法相比，所提出方法在效率与精度方面表现如何？

主要发现

• 所提方法实现了线性时间与空间复杂度，使其在大规模数据集上的处理速度比现有方法快几个数量级。
• 该方法能有效泛化至新样本，无需在新数据到达时重新计算完整因子分解。
• 将类别标签作为先验信息显著提升了分类任务的性能，优于无监督或归纳性基线方法。
• 在基准数据集上的实验结果表明，该方法在效率方面表现优异，且在准确率上达到或超过当前最先进方法。
• 即使使用少量地标点，该方法仍能保持高预测精度，表明其具备强大的泛化能力与样本效率。