[论文解读] Fast-rate PAC-Bayes Generalization Bounds via Shifted Rademacher Processes

Jun Yang, Shengyang Sun+1 more|arXiv (Cornell University)|Aug 20, 2019

Machine Learning and Algorithms参考文献 41被引用 7

一句话总结

本文提出了一种新颖的框架，通过使用平移Rademacher过程推导快速率PAC-Bayes泛化界，能够以常数因子恢复Catoni的快速$1/m$-率界，并推导出依赖于风险曲面经验平坦度的新界。该方法将Rademacher复杂度与PAC-Bayesian理论相连接，为过参数化模型（如神经网络）的泛化提供了新见解。

ABSTRACT

The developments of Rademacher complexity and PAC-Bayesian theory have been largely independent. One exception is the PAC-Bayes theorem of Kakade, Sridharan, and Tewari (2008), which is established via Rademacher complexity theory by viewing Gibbs classifiers as linear operators. The goal of this paper is to extend this bridge between Rademacher complexity and state-of-the-art PAC-Bayesian theory. We first demonstrate that one can match the fast rate of Catoni's PAC-Bayes bounds (Catoni, 2007) using shifted Rademacher processes (Wegkamp, 2003; Lecué and Mitchell, 2012; Zhivotovskiy and Hanneke, 2018). We then derive a new fast-rate PAC-Bayes bound in terms of the "flatness" of the empirical risk surface on which the posterior concentrates. Our analysis establishes a new framework for deriving fast-rate PAC-Bayes bounds and yields new insights on PAC-Bayesian theory.

研究动机与目标

• 通过建立统一的分析框架，弥合Rademacher复杂度与最先进的PAC-Bayesian理论之间的差距。
• 利用平移Rademacher过程恢复Catoni的快速率PAC-Bayes界，证明该方法具有匹配现有最先进结果的潜力。
• 引入一种新的快速率PAC-Bayes界，该界依赖于后验分布所在的风险曲面的经验证据平坦度。
• 通过利用经验过程理论的工具，为PAC-Bayesian泛化提供新的理论见解。
• 为分析过参数化模型（尤其是通过随机优化训练的深度神经网络）的泛化打开新的研究方向。

提出的方法

• 作者使用平移Rademacher过程——平移经验过程的特例——作为核心分析工具，以界定向样本风险与真实风险之间的偏差。
• 他们将Gibbs分类器重新表述为线性算子，并应用平移Rademacher过程的尾部界，推导出数据相关的泛化保证。
• 通过测量后验集中于其上的经验风险曲面的平坦度，推导出新界，其中平坦度的概念受到平坦极小值与泛化之间隐含联系的启发。
• 该方法基于[21]的工作，通过将其基于Rademacher复杂度的PAC-Bayes框架扩展至实现快速率。
• 分析利用了集中不等式和严格凸正则化器的性质，以控制后验风险与真实风险之间的偏差。
• 该框架具有足够的通用性，可扩展至有界和无界损失函数，尽管本文主要聚焦于零一律损失。

实验结果

研究问题

• RQ1 是否可以使用平移Rademacher过程推导出与现有最先进结果相匹配或更优的快速率PAC-Bayes界？
• RQ2 能否以一种形式化方式定义经验风险曲面的'平坦度'，从而在PAC-Bayesian框架中获得更紧的泛化界？
• RQ3 是否可能通过基于经验过程的统一分析框架，将Rademacher复杂度理论与PAC-Bayesian理论统一起来？
• RQ4 风险曲面的平坦度与过参数化模型（如深度神经网络）的泛化性能有何关系？
• RQ5 该方法是否可扩展至无界损失函数，或可否适配于特定学习算法（如随机梯度下降）？

主要发现

• 本文成功地通过平移Rademacher过程以常数因子恢复了Catoni的快速率PAC-Bayes界，证明了该方法在实现$1/m$-率收敛方面的可行性。
• 推导出一种新的快速率PAC-Bayes界，该界显式依赖于后验集中于其上的经验风险曲面的平坦度，为泛化提供了一种新颖的复杂度度量。
• 基于平坦度的界是经验性的且依赖于数据，因此比以往依赖于未知数据分布期望的理论更具实用性。
• 所提出的框架为通过Rademacher过程推导快速率PAC-Bayes界提供了蓝图，为PAC-Bayesian泛化提供了新的理论视角。
• 初步的实证研究显示，标准PAC-Bayes界优化可能导致欠拟合，因为所得后验在所提出的平坦度意义上并不平坦，表明界紧致性与泛化性能之间可能存在权衡。
• 该方法具有通用性，未来工作可将其扩展至无界损失函数，尽管此类扩展仍为开放方向。