[论文解读] Controlled Sparsity Kernel Learning

Dinesh Govindaraj, Raman Sankaran+2 more|arXiv (Cornell University)|Dec 31, 2013

Machine Learning and ELM参考文献 7被引用 4

一句话总结

本文提出了一种新型的多核学习框架——受控稀疏核学习（Controlled Sparsity Kernel Learning, CSKL），通过参数 $ t $ 显式控制所选核函数的数量，从而实现对模型稀疏性的精确调节。与 $ L_p $-范数方法中参数 $ p $ 缺乏直接可解释性不同，CSKL 采用有限的离散 $ t $ 搜索，并利用一种收敛高效的缩减梯度下降算法。在 Caltech101 数据集上的实验表明，CSKL 通过选择用户可控的最优核函数数量，在准确率上优于稀疏（SimpleMKL）和非稀疏（L2-MKL）基线方法。

ABSTRACT

Multiple Kernel Learning(MKL) on Support Vector Machines(SVMs) has been a popular front of research in recent times due to its success in application problems like Object Categorization. This success is due to the fact that MKL has the ability to choose from a variety of feature kernels to identify the optimal kernel combination. But the initial formulation of MKL was only able to select the best of the features and misses out many other informative kernels presented. To overcome this, the Lp norm based formulation was proposed by Kloft et. al. This formulation is capable of choosing a non-sparse set of kernels through a control parameter p. Unfortunately, the parameter p does not have a direct meaning to the number of kernels selected. We have observed that stricter control over the number of kernels selected gives us an edge over these techniques in terms of accuracy of classification and also helps us to fine tune the algorithms to the time requirements at hand. In this work, we propose a Controlled Sparsity Kernel Learning (CSKL) formulation that can strictly control the number of kernels which we wish to select. The CSKL formulation introduces a parameter t which directly corresponds to the number of kernels selected. It is important to note that a search in t space is finite and fast as compared to p. We have also provided an efficient Reduced Gradient Descent based algorithm to solve the CSKL formulation, which is proven to converge. Through our experiments on the Caltech101 Object Categorization dataset, we have also shown that one can achieve better accuracies than the previous formulations through the right choice of t.

研究动机与目标

• 解决现有多核学习（MKL）方法中无法显式控制所选核函数数量的问题。
• 克服 $ L_p $-范数 MKL 的局限性，其中参数 $ p $ 并不直接对应于所选核函数的数量。
• 提出一种允许用户显式调节所用核函数数量的公式，以在准确率与计算效率之间取得平衡。
• 将 MKL 框架扩展至 $ \nu $-SVM，以更好地控制支持向量数量和训练误差。
• 通过实证验证，受控稀疏性在物体分类任务中可带来更优的分类性能。

提出的方法

• 提出一种新的 MKL 公式——受控稀疏核学习（CSKL），其中所选核函数的数量由参数 $ t $ 显式控制。
• 引入一个约束优化问题，强制在核函数组合中恰好有 $ t $ 个核函数非零。
• 开发一种缩减梯度下降算法以求解 CSKL 公式，证明其可收敛至驻点。
• 将 CSKL 框架扩展至 $ \nu $-SVM，通过 $ \nu $ 实现对稀疏性和训练误差的双重控制。
• 采用对 $ t $ 的有限搜索空间，相较于 $ L_p $-范数方法中的连续 $ p $ 空间，计算效率更高。
• 采用块结构化的核函数组合方式，在块内使用 $ \ell_1 $-范数正则化，并对活跃块的数量施加显式基数约束。

实验结果

研究问题

• RQ1 在多核学习中，对所选核函数数量的显式控制是否能提升分类准确率？
• RQ2 在 $ L_p $-范数 MKL 中，对核函数数量（$ t $）进行有限离散搜索，是否相比连续参数化（$ p $）能带来更好的性能与效率？
• RQ3 在真实世界中的物体分类任务中，受控稀疏性与稀疏（如 SimpleMKL）和非稀疏（如 $ L_2 $-MKL）公式相比表现如何？
• RQ4 $ \nu $-SVM 扩展的 CSKL 是否能提供更好的支持向量数量与分类准确率之间的权衡？
• RQ5 在物体识别的各类二分类问题中，是否存在一个最优的 $ t $ 值，可使性能达到最大化？

主要发现

• 在 Caltech101 的 1-vs-1 设置中，$ \nu $-CSKL 在 5112 个二分类器中优于 $ L_2 $-MKL。
• 在 1-vs-Rest 设置中，$ \nu $-CSKL 在 97 个分类器中优于 $ L_2 $-MKL（共 102 个），在 91 个分类器中优于 SimpleMKL。
• CSKL 的性能与 $ L_2 $-MKL 相当，但使用了显著更少的核函数，且在 $ t = 4 $ 后准确率趋于饱和。
• CSKL 选择的最优核函数数量通常少于可用核函数总数，表明并非所有核函数都同等贡献。
• 直方图显示，CSKL 经常选择比 SimpleMKL（通常仅选 1–2 个）更多的描述符，但比 $ L_2 $-MKL（选择全部）更少，证实其能有效找到平衡且高性能的子集。
• CSKL 选择的描述符数量随 $ t $ 单调递增，仅当 $ t $ 超出最优范围时才会全部选择 20 个核函数，进一步验证了模型的可控性。