[论文解读] Hierarchically Compositional Kernels for Scalable Nonparametric Learning

Jie Chen, Haim Avron+1 more|arXiv (Cornell University)|Aug 2, 2016

Sparse and Compressive Sensing Techniques参考文献 40被引用 3

一句话总结

本文提出分层组合核，通过在数据域的分层划分中结合基于Nyström的全局低秩近似与局部无损近似，实现可扩展的非参数学习。所得核矩阵表现出递归的块对角低秩结构，将训练内存和算术复杂度分别从$O(n^2)$和$O(n^3)$降低至$O(nr)$和$O(nr^2)$，同时保持严格的正定性，并在更小的秩$r$下实现与其它近似核相当或更优的性能。

ABSTRACT

We propose a novel class of kernels to alleviate the high computational cost of large-scale nonparametric learning with kernel methods. The proposed kernel is defined based on a hierarchical partitioning of the underlying data domain, where the Nyström method (a globally low-rank approximation) is married with a locally lossless approximation in a hierarchical fashion. The kernel maintains (strict) positive-definiteness. The corresponding kernel matrix admits a recursively off-diagonal low-rank structure, which allows for fast linear algebra computations. Suppressing the factor of data dimension, the memory and arithmetic complexities for training a regression or a classifier are reduced from $O(n^2)$ and $O(n^3)$ to $O(nr)$ and $O(nr^2)$, respectively, where $n$ is the number of training examples and $r$ is the rank on each level of the hierarchy. Although other randomized approximate kernels entail a similar complexity, empirical results show that the proposed kernel achieves a matching performance with a smaller $r$. We demonstrate comprehensive experiments to show the effective use of the proposed kernel on data sizes up to the order of millions.

研究动机与目标

• 为解决大规模核方法的高计算成本问题，这些方法在$n$增大时因密集且无结构的核矩阵而扩展性差。
• 开发一种核构造方法，保持严格的正定性，同时通过结构化低秩近似实现高效计算。
• 通过利用分层数据划分，将核岭回归和分类的内存与算术复杂度分别从$O(n^2)$和$O(n^3)$降低至$O(nr)$和$O(nr^2)$。
• 使核方法在包含数百万个点的数据集上得以有效应用，而标准核方法在此类规模下变得不可行。
• 通过最大似然法实现参数的合理估计，支持在高维设置下对核超参数进行优化。

提出的方法

• 该方法通过将数据域递归划分为嵌套簇来构建核，实现对非对角块的递归低秩近似。
• 结合Nyström方法进行全局低秩近似，以及在每个划分内进行局部无损核计算，以保持精度和正定性。
• 核矩阵的结构使得非对角块为低秩，通过递归矩阵分解实现快速线性代数运算。
• 该构造通过设计确保严格的正定性，使核可应用于高斯过程和核岭回归框架。
• 由于显式核函数和分层划分，样本外预测简单直接，新样本的簇成员身份通过其到簇中心的距离确定。
• 该方法通过针对递归低秩矩阵的专用算法，支持对数行列式与矩阵逆项的高效计算，从而实现可扩展的最大似然估计。

实验结果

研究问题

• RQ1 能否构造一种核，使其在保持严格正定性的同时，实现大规模数据上核方法的次二次内存与次三次算术复杂度？
• RQ2 如何结合分层划分与低秩近似，在降低计算成本的同时保持核的精度？
• RQ3 所提出的核是否在更小的秩$r$下实现与现有随机近似核相当或更优的性能？
• RQ4 核矩阵的递归低秩结构是否可被利用以实现核超参数的高效最大似然估计？
• RQ5 该方法是否可扩展至包含数百万个点的数据集？与标准核方法相比，其实际性能如何？

主要发现

• 所提出的核将训练内存和算术复杂度分别从$O(n^2)$和$O(n^3)$降低至$O(nr)$和$O(nr^2)$，其中$r$为每一层次的秩。
• 实验结果表明，该核在更小的秩$r$下实现与其它近似核相当或更优的性能，表明其效率更高。
• 核矩阵结构支持通过递归算法快速计算对数行列式与矩阵逆项，从而支持可扩展的最大似然估计。
• 该方法在包含数百万个样本的数据集上表现有效，展示了超越典型核方法限制的实际可扩展性。
• 该核保持严格的正定性，确保在所有基于核的学习与高斯过程推理任务中的有效性。
• 样本外扩展简单直接，因为新样本的划分归属由其到分层划分中簇中心的最小距离决定。