[论文解读] Chromatic PAC-Bayes Bounds for Non-IID Data: Applications to Ranking and Stationary $β$-Mixing Processes

Liva Ralaivola, Marie Szafranski+1 more|SPIRE - Sciences Po Institutional REpository|Sep 10, 2009

Statistical Methods and Inference参考文献 35被引用 36

一句话总结

本文通过利用分数图覆盖将依赖数据分解为独立子集，提出了用于非独立同分布（non-i.i.d.）数据的色性 PAC-Bayes 界，从而为排序和 $β$-混合过程提供了紧致的一般化界。主要贡献是一个通用框架，将 PAC-Bayes 理论从独立同分布假设扩展至依赖数据结构，其应用涵盖基于 AUC 的排序与平稳混合过程。

ABSTRACT

Pac-Bayes bounds are among the most accurate generalization bounds for classifiers learned from independently and identically distributed (IID) data, and it is particularly so for margin classifiers: there have been recent contributions showing how practical these bounds can be either to perform model selection (Ambroladze et al., 2007) or even to directly guide the learning of linear classifiers (Germain et al., 2009). However, there are many practical situations where the training data show some dependencies and where the traditional IID assumption does not hold. Stating generalization bounds for such frameworks is therefore of the utmost interest, both from theoretical and practical standpoints. In this work, we propose the first - to the best of our knowledge - Pac-Bayes generalization bounds for classifiers trained on data exhibiting interdependencies. The approach undertaken to establish our results is based on the decomposition of a so-called dependency graph that encodes the dependencies within the data, in sets of independent data, thanks to graph fractional covers. Our bounds are very general, since being able to find an upper bound on the fractional chromatic number of the dependency graph is sufficient to get new Pac-Bayes bounds for specific settings. We show how our results can be used to derive bounds for ranking statistics (such as Auc) and classifiers trained on data distributed according to a stationary ß-mixing process. In the way, we show how our approach seemlessly allows us to deal with U-processes. As a side note, we also provide a Pac-Bayes generalization bound for classifiers learned on data from stationary $φ$-mixing distributions.

研究动机与目标

• 解决在现实应用中常见的非独立同分布数据假设下，PAC-Bayes 学习缺乏一般化界的问题，如排序和序列数据。
• 构建一个理论框架，将经典的独立同分布 PAC-Bayes 界推广至处理依赖数据结构。
• 使 PAC-Bayes 界可用于涉及 U-统计量和排序性能度量（如 AUC）的场景。
• 提供一种系统方法，推导适用于平稳 $β$-混合和 $φ$-混合过程的一般化界，扩展 PAC-Bayesian 一般化理论的适用范围。
• 展示分数色数作为量化和管理数据依赖性的工具，在一般化分析中的有效性。

提出的方法

• 使用依赖图 $Γ({\bf D}_m)$ 建模数据依赖性，其中节点表示随机变量，边表示统计依赖关系。
• 应用分数图着色（通过分数覆盖）将依赖图划分为独立子集，以减少组间依赖性。
• 将子图 $\Gamma({\bf D}_{\bf s})$ 的分数色数 $\chi^*_{{\bf s}}$ 作为复杂度和依赖强度的度量。
• 对每个独立子集应用标准独立同分布 PAC-Bayes 界，再通过并集界和浓度不等式进行组合。
• 推导出如下形式的一般界：$\mathbb{P}\left(\text{error} \leq \text{经验风险} + \text{KL 散度项} + \text{复杂度惩罚项}\right) \geq 1-\delta$，其中复杂度惩罚项涉及 $\chi^*_{{\bf s}}$。
• 利用凸性和对数矩生成函数界风险的指数矩，实现紧致的一般化控制。

实验结果

研究问题

• RQ1 能否通过图结构建模依赖性，将 PAC-Bayes 一般化界扩展至非独立同分布数据？
• RQ2 分数图覆盖如何用于将依赖数据分解为可应用标准 PAC-Bayes 界的独立分量？
• RQ3 分数色数在量化 PAC-Bayesian 一般化界中依赖数据复杂度方面起什么作用？
• RQ4 与基于 VC 维或打碎系数的现有方法相比，所提框架能否为排序性能（如 AUC）提供更紧或更鲁棒的界？
• RQ5 该框架在多大程度上可应用于平稳 $\beta$-混合和 $\varphi$-混合过程？对序列或时间依赖数据有何启示？

主要发现

• 所提出的色性 PAC-Bayes 界是首个通过分数覆盖实现依赖图分解，为在非独立同分布数据上训练的分类器提供一般化保证的界。
• 基于 AUC 的排序性能界对数据偏斜的依赖性更弱，且不依赖于秩打碎系数，相较于先前方法更具鲁棒性。
• 对于大小为 $m-k$ 的子图 ${\bf s}$，界中包含 $\ln \binom{m}{k}$ 项以涵盖所有可能子图的并集，当 $\chi^*_{{\bf s}} \ll \chi^*({\bf D}_m)$ 时，界更紧。
• 该框架可无缝处理 U-统计量（如 AUC 计算中出现的），将其视为依赖对的和来处理。
• 该方法可推广至 $\varphi$-混合过程，将 PAC-Bayes 界的适用范围从 $\beta$-混合扩展至更广泛的弱依赖过程类别。
• 使用分数色数提供了一种基于图论的、系统化的依赖性量化方法，相比朴素独立性假设，能获得更紧致且更具可解释性的界。