[论文解读] A Randomized Mirror Descent Algorithm for Large Scale Multiple Kernel Learning

Arash Afkanpour, András György+2 more|arXiv (Cornell University)|May 1, 2012

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

该论文提出了一种用于大规模多核学习（MKL）的随机镜像下降算法，通过重要性采样构建低方差梯度估计，实现 O(log d / ε²) 的计算复杂度。该方法通过按梯度大小比例采样坐标，实现了对指数级大核集合（尤其是多项式核）的高效优化，表现出对 d 的对数依赖性，并在可扩展性和速度上优于当前最先进方法。

ABSTRACT

We consider the problem of simultaneously learning to linearly combine a very large number of kernels and learn a good predictor based on the learnt kernel. When the number of kernels $d$ to be combined is very large, multiple kernel learning methods whose computational cost scales linearly in $d$ are intractable. We propose a randomized version of the mirror descent algorithm to overcome this issue, under the objective of minimizing the group $p$-norm penalized empirical risk. The key to achieve the required exponential speed-up is the computationally efficient construction of low-variance estimates of the gradient. We propose importance sampling based estimates, and find that the ideal distribution samples a coordinate with a probability proportional to the magnitude of the corresponding gradient. We show the surprising result that in the case of learning the coefficients of a polynomial kernel, the combinatorial structure of the base kernels to be combined allows the implementation of sampling from this distribution to run in $O(\log(d))$ time, making the total computational cost of the method to achieve an $ε$-optimal solution to be $O(\log(d)/ε^2)$, thereby allowing our method to operate for very large values of $d$. Experiments with simulated and real data confirm that the new algorithm is computationally more efficient than its state-of-the-art alternatives.

研究动机与目标

• 为解决当基核数量 d 极大时，特别是在组合结构空间中，多核学习（MKL）的计算不可行性问题。
• 通过采用具有方差控制的随机坐标下降，将 MKL 算法的每次迭代成本从 O(d) 降低至 O(1)。
• 设计一种坐标更新的采样策略，通过优先选择梯度大小较大的坐标来最小化梯度方差。
• 通过利用多项式核的组合结构，实现在特定核族（如多项式核）中计算复杂度对 d 的对数依赖性。
• 提供具有 d、ε 和核结构显式依赖关系的理论收敛保证，从而实现对极大 d 的可扩展性。

提出的方法

• 该方法采用随机镜像下降框架并结合坐标更新，每次迭代以与第 i 个核权重的梯度 |∇ᵢL| 大小成比例的概率选择核索引 i。
• 通过重要性采样构建低方差梯度估计，其中提议分布与梯度分量的绝对值成比例。
• 对于多项式核族，算法利用单项式的分层结构，实现对最优重要性分布的 O(log d) 时间采样。
• 该算法最小化组 p-范数正则化的经验风险，其中正则项促进核组合的稀疏性和稳定性。
• 收敛性分析表明，在有利情况下，达到 ε-最优解所需的总迭代次数为 O(log d / ε²)，且与 d 无关。
• 该方法使用拉格朗日对偶性和对偶分解推导对偶目标的梯度，从而实现高效的更新规则。

实验结果

研究问题

• RQ1 随机镜像下降算法能否在大规模多核学习中实现计算复杂度对 d 的次线性依赖？
• RQ2 当 d 很大时，能否构建具有 O(1) 每次迭代成本的低方差梯度估计？
• RQ3 在组合结构化的核空间中，能否高效实现梯度估计的最优重要性采样分布？
• RQ4 该方法能否在多项式核学习中实现 O(log d / ε²) 的复杂度，从而实现对指数级大 d 的可扩展性？
• RQ5 在实际性能上，该算法与当前最先进 MKL 方法相比，在收敛速度和解质量方面表现如何？

主要发现

• 所提算法在达到 ε-最优解时的计算复杂度为 O(log d / ε²)，对 d 的对数依赖性使其即使在极大核集合下仍具可行性。
• 对于多项式核族，由于单项式的分层结构，最优重要性采样分布的实现时间可控制在 O(log d)。
• 梯度估计器的方差由核上的先验权重控制，在有利条件下可与 d 无关。
• 在模拟数据和真实数据上的实验结果表明，该算法在计算效率上显著优于现有最先进 MKL 方法。
• 由于采用自适应采样，该方法在 d 较大时相比固定分布的随机方法（如 Nesterov, 2010）具有更快的收敛速度。
• 理论分析证实，该方法在 ε 和 d 上具有显式依赖关系的收敛保证，而其他缺乏此类边界的算法则不具备。