[论文解读] A Tight Excess Risk Bound via a Unified PAC-Bayesian-Rademacher-Shtarkov-MDL Complexity

Peter Grünwald, Nishant A. Mehta|Data Archiving and Networked Services (DANS)|Oct 21, 2017

Machine Learning and Algorithms参考文献 27被引用 7

一句话总结

本文提出了一种统一的PAC-Bayesian–Rademacher–Shtarkov–MDL复杂度，将数据无关的Rademacher复杂度、信息复杂度和归一化最大似然（NML）复杂度联系起来。通过这一新复杂度，建立了紧致的过失风险界，推广了在Bernstein条件下VC类和大多项式熵类的最优率，同时清晰地区分了模型复杂度与“容易性”条件的影响。

ABSTRACT

We present a novel notion of complexity that interpolates between and generalizes some classic existing complexity notions in learning theory: for estimators like empirical risk minimization (ERM) with arbitrary bounded losses, it is upper bounded in terms of data-independent Rademacher complexity; for generalized Bayesian estimators, it is upper bounded by the data-dependent information complexity (also known as stochastic or PAC-Bayesian, $\mathrm{KL}( ext{posterior} \operatorname{\|} ext{prior})$ complexity. For (penalized) ERM, the new complexity reduces to (generalized) normalized maximum likelihood (NML) complexity, i.e. a minimax log-loss individual-sequence regret. Our first main result bounds excess risk in terms of the new complexity. Our second main result links the new complexity via Rademacher complexity to $L_2(P)$ entropy, thereby generalizing earlier results of Opper, Haussler, Lugosi, and Cesa-Bianchi who did the log-loss case with $L_\infty$. Together, these results recover optimal bounds for VC- and large (polynomial entropy) classes, replacing localized Rademacher complexity by a simpler analysis which almost completely separates the two aspects that determine the achievable rates: 'easiness' (Bernstein) conditions and model complexity.

研究动机与目标

• 将学习理论中不同的复杂度概念——Rademacher、PAC-Bayesian、Shtarkov/NML——统一到一个框架中。
• 推导出一个紧致的过失风险界，涵盖ERM、贝叶斯估计器和惩罚ERM的现有界。
• 将过失风险与$L_2(P)$熵之间的联系推广到先前基于$L_∞$熵的结果之外。
• 在不依赖局部化Rademacher复杂度的前提下，恢复大类在Bernstein条件下的极小极大最优率。
• 阐明模型复杂度与“容易性”（Bernstein）条件在决定学习率中的作用。

提出的方法

• 提出一种新颖的复杂度度量$\text{comp}_\eta(\mathcal{F}, \hat{\Pi}, w, Z^n)$，在Rademacher复杂度与信息复杂度之间实现插值。
• 建立一个主界，将任意估计器$\hat{\Pi}$的退火过失风险与这一新复杂度及经验风险联系起来。
• 通过一系列边界连接最小极大对数损失后悔（Shtarkov积分）与$L_2(P)$熵，中间经由Rademacher复杂度。
• 应用Koltchinskii的结果，将Rademacher复杂度与经验熵的联系推广到$L_2$，从而推广先前基于$L_∞$熵的研究。
• 证明新复杂度在惩罚ERM下退化为NML复杂度，在贝叶斯估计器下退化为信息复杂度。
• 采用无不动点的调参策略，相较于需要显式划分或链式分解的方法，分析更为简洁。

实验结果

研究问题

• RQ1 是否存在一个单一的复杂度度量，能够统一PAC-Bayesian、Rademacher和NML复杂度在过失风险界中的应用？
• RQ2 新复杂度与$L_2(P)$熵之间有何关系？这是否能导致比基于$L_∞$熵的方法更紧致的界？
• RQ3 所提出的框架能否在不使用局部化Rademacher复杂度的前提下，恢复大类在Bernstein条件下的极小极大最优率？
• RQ4 对于任意有界损失，Shtarkov积分（最小极大对数损失后悔）与Rademacher复杂度之间存在何种关系？
• RQ5 新框架在多大程度上可扩展以处理无界损失或如Audibert的星型估计器等聚合方法？

主要发现

• 所提出的复杂度$\text{comp}_\eta$推广了Rademacher复杂度、信息复杂度和NML复杂度，提供了统一的过失风险界。
• 定理4中的主界将退火过失风险与经验风险及新复杂度联系起来，为VC类和大多项式熵类提供了紧致的速率。
• 本文建立了最小极大对数损失后悔（Shtarkov积分）与$L_2(P)$熵之间的新颖联系，推广了先前基于$L_∞$熵的研究。
• 该框架清晰地区分了模型复杂度与“容易性”（Bernstein）条件的影响，使得分析比局部化Rademacher复杂度更简洁。
• 对于惩罚ERM，新复杂度退化为NML复杂度，在对数损失设置下恢复了极小极大最优率。
• 该方法避免了显式使用链式分解技术，与Audibert和Bousquet（2007）不同，但仍能达到最优率，表明其分析更具透明性和模块化。