[论文解读] Optimal learning via local entropies and sample compression

Nikita Zhivotovskiy|arXiv (Cornell University)|Jun 4, 2017

Machine Learning and Algorithms参考文献 29被引用 7

一句话总结

本文通过利用分布相关的局部熵和样本压缩方案，为分类问题提出了新颖的风险界，实现了最优的泛化速率（常数因子内）。它为硬-margin SVM 建立了紧致的 PAC 界，并通过稳定压缩与投票机制改进了在线到批量的转换，提供了多项式时间算法与更优的泛化保证。

ABSTRACT

The aim of this paper is to provide several novel upper bounds on the excess risk with a primal focus on classification problems. We suggest two approaches and the obtained bounds are represented via the distribution dependent local entropies of the classes or the sizes of specific sample com- pression schemes. We show that in some cases, our guarantees are optimal up to constant factors and outperform previously known results. As an application of our results, we provide a new tight PAC bound for the hard-margin SVM, an extended analysis of certain empirical risk minimizers under log-concave distributions, a new variant of an online to batch conversion, and distribution dependent localized bounds in the aggregation framework. We also develop techniques that allow to replace empirical covering number or covering numbers with bracketing by the coverings with respect to the distribution of the data. The proofs for the sample compression schemes are based on the moment method combined with the analysis of voting algorithms.

研究动机与目标

• 通过利用分布相关的局部熵，为分类中的经验风险最小化建立更紧致的泛化界。
• 通过具有稳定性的样本压缩方案，建立最优的过剩风险界，尤其在可实现情形下。
• 通过构建稳定、多项式时间的算法，改进在线到批量的转换，实现更优的风险速率。
• 用与分布相关的覆盖方式替代传统覆盖数，增强对数据分布的自适应性。
• 为硬-margin SVM 提供一种新的、紧致的 PAC 界，其与最小最大下界在常数因子内一致。

提出的方法

• 使用分布相关的局部熵来度量损失类的复杂性，量化覆盖 Lr(P) 球半径为 2ε 且与函数类相交的部分所需的球体数量。
• 应用大小为 k 的样本压缩方案，其中重构函数能从大小为 k 的压缩子集恢复完整样本。
• 通过确保重构函数对压缩集合中微小扰动不敏感，引入稳定压缩方案。
• 结合矩方法与投票算法，推导过剩风险的高概率界。
• 采用三重样本投票策略以改善泛化，将风险速率从 O(k log(k)/n) 降低至 O(k log(k)/n + log(1/δ)/n)。
• 用与分布相关的覆盖方式替代经验或区间覆盖数，以实现局部化、数据依赖的界。

实验结果

研究问题

• RQ1 局部熵度量能否提供比经典覆盖数更紧致、分布相关的泛化界？
• RQ2 具有稳定性的样本压缩方案能否在可实现分类设置下实现最优学习速率？
• RQ3 在一般分布下，硬-margin SVM 的多项式时间算法可实现的最优风险速率是多少？
• RQ4 如何将在线学习算法转换为批量学习，同时获得更优的风险保证？
• RQ5 与分布相关的覆盖方式能否替代经验或区间覆盖方式，以获得更精确、局部化的界？

主要发现

• 本文为硬-margin SVM 建立了紧致的 PAC 界：过剩风险 R(𝑓̂) ≲ d log(d)/n + log(1/δ)/n，与最小最大下界在常数因子内一致。
• 在可实现情形下，线性半空间类的多项式时间算法实现了最优速率 d log(d)/n + log(1/δ)/n。
• 通过在三个压缩样本上进行投票的在线到批量转换方法，实现了 O(k log(k)/n + log(1/δ)/n) 的风险速率，几乎达到目前已知的最佳界。
• 该方法通过将 log(k/δ) 因子替换为 log(1/δ)，改善了对置信度的依赖关系，实现了更紧致的依赖。
• 使用分布相关的局部熵可在某些情形下获得比传统覆盖数更紧致的界。
• 稳定样本压缩方案被证明可实现最优过剩风险界，且首次为这类方案推导出高概率界。