[论文解读] A Note on Improved Loss Bounds for Multiple Kernel Learning

Zakria Hussain, John Shawe‐Taylor+1 more|arXiv (Cornell University)|Jun 30, 2011

Machine Learning and Algorithms参考文献 7被引用 8

一句话总结

本文更正了先前文献中关于多核学习（MKL）中Rademacher复杂度界的一个错误，指出原始文献声称的核函数数量对数的加法依赖关系是错误的。更正后的界揭示了边距γ与log p之间存在乘法依赖关系，这削弱了泛化保证，但提供了对MKL复杂性的更准确的理论分析。

ABSTRACT

In this paper, we correct an upper bound, presented in~\cite{hs-11}, on the generalisation error of classifiers learned through multiple kernel learning. The bound in~\cite{hs-11} uses Rademacher complexity and has an\emph{additive} dependence on the logarithm of the number of kernels and the margin achieved by the classifier. However, there are some errors in parts of the proof which are corrected in this paper. Unfortunately, the final result turns out to be a risk bound which has a \emph{multiplicative} dependence on the logarithm of the number of kernels and the margin achieved by the classifier.

研究动机与目标

• 识别并纠正文献[4]中提出的基于Rademacher复杂度的多核学习泛化界中的错误。
• 利用Rademacher复杂度对多核学习中的估计误差提供修正后的理论分析。
• 阐明泛化误差界对核函数数量和边距参数γ的真实依赖关系。
• 建立一个更准确的风险界，以反映MKL分类器的实际复杂度。

提出的方法

• 将Rademacher复杂度理论应用于多核学习中由基核函数的凸组合所诱导的函数类。
• 使用截断合页损失函数A^γ(s)推导出更紧致的泛化误差界。
• 纠正文献[4]中的错误假设，即∑j R_m(F_j) ≤ R_m(∪j F_j)，该假设错误地导致了log p的加法依赖。
• 通过三角不等式和上确界范数分解推导新界，得出log p项前存在1/γ的乘法因子。
• 应用浓度不等式和截断合页损失的Lipschitz性质，以控制估计误差。
• 建立一个依赖于最大核对角范数和核函数数量p的界，明确包含γ和log p的依赖关系。

实验结果

研究问题

• RQ1 在多核学习中，Rademacher复杂度界对核函数数量的正确依赖关系是什么？
• RQ2 为何文献[4]中关于log p的加法依赖关系在严格分析下不成立？
• RQ3 边距γ如何与泛化误差界中的对数项相互作用？
• RQ4 能否通过更正后的Rademacher复杂度分析，为MKL推导出更紧致且更准确的泛化界？

主要发现

• 文献[4]中关于Rademacher复杂度界对log p的加法依赖关系的原始声明是错误的，原因在于错误地应用了不等式。
• 更正后的界显示出1/γ与log p之间的乘法依赖关系，与原始声明相比，这削弱了泛化保证。
• 最终的风险界为：err(f) ≤ Ê[A^γ(yf(x))] + (1/γ)[(2/m)max_j √∑i κ_j(x_i,x_i) + √(8 log p / m)] + 3√(log(2/δ)/(2m))。
• 在核函数归一化条件下（κ_j(x,x) ≤ R²），该界简化为：err(f) ≤ Ê[A^γ(yf(x))] + (1/γ)[2R/√m + √(8 log p / m)] + 3√(log(2/δ)/(2m))。
• 该更正表明，活跃核数d与log p无法与边距项分离，从而否定了原始声明中关于部分独立性的论断。
• 分析证实，文献[4]中原有的界因对函数类并集的Rademacher复杂度处理不当，而高估了泛化性能。