[论文解读] Localized Complexities for Transductive Learning

Tolstikhin, Ilya, Gilles Blanchard+1 more|arXiv (Cornell University)|Nov 26, 2014

Machine Learning and Algorithms参考文献 25被引用 6

一句话总结

本文提出了无放回抽样下经验过程的新型集中不等式，使首次基于局部复杂度的泛化误差上界在归纳学习中得以实现。其关键贡献在于通过适用于核类的核特征值尾部求和的方差感知不等式，实现了归纳学习中首次在转换学习中的快速收敛速率。

ABSTRACT

We show two novel concentration inequalities for suprema of empirical processes when sampling without replacement, which both take the variance of the functions into account. While these inequalities may potentially have broad applications in learning theory in general, we exemplify their significance by studying the transductive setting of learning theory. For which we provide the first excess risk bounds based on the localized complexity of the hypothesis class, which can yield fast rates of convergence also in the transductive learning setting. We give a preliminary analysis of the localized complexities for the prominent case of kernel classes.

研究动机与目标

• 解决转换学习中缺乏快速收敛速率结果的问题，该问题相较于归纳学习仍处于发展不足状态。
• 克服现有转换学习上界依赖于严格假设的局限性，例如贝叶斯分类器必须属于假设类。
• 为转换学习中的泛化误差上界建立一个通用框架，利用局部复杂度，适用于广泛的损失函数和假设集。
• 为Bartlett等人（2005）的局部复杂度上界提供转换学习类比，将其扩展至无放回抽样设置。
• 为转换设置中的方差感知泛化误差上界建立理论基础，优于全局复杂度度量。

提出的方法

• 推导出在无放回抽样下经验过程上确界的新集中不等式，明确纳入函数的方差。
• 将这些不等式应用于约束转换学习中的泛化误差，利用假设类的局部复杂度。
• 以局部复杂度形式表述泛化误差上界，使其能适应假设类在最优函数附近的局部行为。
• 通过分析归一化核Gram矩阵的特征值尾部求和，将一般上界特化至核类。
• 使用有限样本集上的均匀分布作为基础生成测度，使与归纳学习结果的比较成为可能。
• 建立上界实现快速收敛速率的条件，包括 $L$-Lipschitz 损失和将泛化误差与 $L^2$-误差关联的二次稳定性条件。

实验结果

研究问题

• RQ1 在无放回抽样假设不成立的转换学习设置中，是否可利用局部复杂度推导出快速泛化误差上界？
• RQ2 与经典i.i.d.不等式相比，无放回抽样下的集中不等式如何改进泛化误差上界？
• RQ3 在归纳学习中类似地基于核矩阵谱性质表达的转换学习泛化误差上界，在多大程度上可实现？
• RQ4 方差感知上界是否能在假设类高度局部化时提供更紧的估计，特别是在转换学习中？
• RQ5 有限总体大小和无放回抽样在实现转换学习中改进收敛速率方面起到何种作用？

主要发现

• 本文首次建立了基于局部复杂度的转换学习泛化误差上界，可实现快速收敛速率。
• 该上界通过两个针对无放回抽样下经验过程上确界的新型集中不等式推导得出，同时考虑了函数方差。
• 对于满足 $ ext{sup}_x k(x,x) eq 1$ 的归一化核 $k$，泛化误差被限制在 $c_L imes ext{min}_{0 \theta \theta} \frac{\theta}{k} + \frac{1}{k} \times \text{sum}_{i \theta} \theta_{i,N}$ 之内，其中 $\theta_{i,N}$ 是归一化Gram矩阵的特征值。
• 当特征值快速衰减时，该上界阶为 $1/\theta$，在谱稀疏条件下意味着快速收敛速率。
• 该结果适用于一大类有界、非负且 $L$-Lipschitz 的损失函数，且在 $L^2$-误差与泛化误差之间存在稳定性条件。
• 该框架为Bartlett等人（2005）定理5.3的推论提供了转换学习类比，将局部复杂度理论扩展至转换学习设置。