[论文解读] Chromatic PAC-Bayes Bounds for Non-IID Data: Applications to Ranking and Stationary $\\beta$-Mixing Processes

Liva Ralaivola, Marie Szafranski+1 more|arXiv (Cornell University)|Sep 10, 2009

Machine Learning and Algorithms参考文献 21被引用 25

一句话总结

本文通过利用分数图覆盖将依赖数据分解为独立子集，提出了用于非独立同分布数据的色度 PAC-Bayes 界，从而实现了对排序和 $β$-混合过程的紧密泛化界。其主要贡献是一个通用框架，通过依赖图着色将 PAC-Bayes 理论扩展至非独立同分布假设，适用于 AUC 和平稳混合过程。

ABSTRACT

Pac-Bayes bounds are among the most accurate generalization bounds for classifiers learned from independently and identically distributed (IID) data, and it is particularly so for margin classifiers: there have been recent contributions showing how practical these bounds can be either to perform model selection (Ambroladze et al., 2007) or even to directly guide the learning of linear classifiers (Germain et al., 2009). However, there are many practical situations where the training data show some dependencies and where the traditional IID assumption does not hold. Stating generalization bounds for such frameworks is therefore of the utmost interest, both from theoretical and practical standpoints. In this work, we propose the first - to the best of our knowledge - Pac-Bayes generalization bounds for classifiers trained on data exhibiting interdependencies. The approach undertaken to establish our results is based on the decomposition of a so-called dependency graph that encodes the dependencies within the data, in sets of independent data, thanks to graph fractional covers. Our bounds are very general, since being able to find an upper bound on the fractional chromatic number of the dependency graph is sufficient to get new Pac-Bayes bounds for specific settings. We show how our results can be used to derive bounds for ranking statistics (such as Auc) and classifiers trained on data distributed according to a stationary {\\ss}-mixing process. In the way, we show how our approach seemlessly allows us to deal with U-processes. As a side note, we also provide a Pac-Bayes generalization bound for classifiers learned on data from stationary $\\varphi$-mixing distributions.

研究动机与目标

• 解决在现实应用中常见的依赖数据训练的 PAC-Bayes 分类器缺乏泛化界的问题，例如排序和序列数据。
• 通过图论工具引入依赖结构，将经典 PAC-Bayes 框架扩展至非独立同分布假设之外。
• 通过分数覆盖将依赖的随机变量分解为独立子集，提供一种系统方法以推导非独立同分布设置下的泛化界。
• 在两个关键应用中展示该框架的实用性：排序性能（例如 AUC）和基于平稳 $β$-混合过程的分类器。
• 通过色度分解方法建立 U-统计量与 PAC-Bayes 界之间的联系。

提出的方法

• 使用依赖图 $Γ({\bf D}_m)$ 建模数据依赖关系，其中节点代表随机变量，边表示统计依赖性。
• 应用分数图着色（通过分数覆盖）将依赖图划分为独立子集，以最小化此类子集的数量。
• 将由子集 ${\bf s}$ 诱导的子图的分数色数 $\chi^*_{{\bf s}}$ 作为依赖复杂度的度量。
• 对每个独立子集应用标准的 i.i.d. PAC-Bayes 界，并通过所有可能子集的并集界组合结果。
• 推导出如下通用界：$\mathbb{E}_{h\sim Q}[R(h)] \leq \hat{e}_Q({\bf Z}_{\bf s}) + \frac{1}{\chi^*_{{\bf s}}} \left[ \operatorname{KL}(Q||P) + \ln \frac{|{\bf s}| + \chi^*_{{\bf s}}}{\chi^*_{{\bf s}}} + \ln \binom{m}{k} + \ln \frac{1}{\delta} \right]$，其中 $\chi^*_{{\bf s}}$ 为分数色数。
• 利用凸性和集中不等式确保界值的紧致性，并适用于 U-统计量和 AUC 等排序指标。

实验结果

研究问题

• RQ1 能否通过图结构建模依赖关系，将 PAC-Bayes 泛化界扩展至非独立同分布数据？
• RQ2 如何利用分数图覆盖将依赖数据分解为独立分量以用于 PAC-Bayes 分析？
• RQ3 依赖结构对 PAC-Bayes 界紧致性的影响是什么？其影响程度如何量化？
• RQ4 与现有方法相比，所提出的框架能否为排序性能（如 AUC）提供更紧或更鲁棒的界？
• RQ5 色度 PAC-Bayes 框架在多大程度上可应用于平稳 $β$-混合和 $φ$-混合过程？

主要发现

• 所提出的色度 PAC-Bayes 界通过将依赖图的分数色数作为复杂度度量，为在非独立同分布数据上训练的分类器提供了泛化保证。
• 在排序任务中，对 AUC 性能的界对数据偏斜不敏感，且不依赖 VC 维或排序破碎系数，提供了更鲁棒的替代方案。
• 该框架通过分数覆盖将依赖结构分解为独立分量，自然地处理了 U-统计量。
• 当 $m \to \infty$ 且 $k = \mathcal{O}_m(1)$ 时，若子图的分数色数保持有界，则该界保持紧致并渐近趋于零。
• 该方法可推广至 $φ$-混合过程，将 PAC-Bayes 界的应用范围从独立同分布和 $β$-混合设置进一步扩展。
• 分数覆盖的使用使得经典 PAC-Bayes 证明结构得以清晰、模块化地扩展，在保持简洁性的同时捕捉了依赖复杂度。