[论文解读] A unified framework for information-theoretic generalization bounds

Yifeng Chu, Maxim Raginsky|arXiv (Cornell University)|May 18, 2023

Statistical Mechanics and Entropy被引用 7

一句话总结

本文通过将概率去相关引理与概率测度空间中的链式方法相结合，提出了一套统一的信息论框架，用于推导机器学习中的泛化界。该方法恢复并扩展了现有泛化界（包括基于互信息、PAC-Bayes和Fernique–Talagrand的界），并为算法相关泛化误差估计提供了连贯的理论基础。

ABSTRACT

This paper presents a general methodology for deriving information-theoretic generalization bounds for learning algorithms. The main technical tool is a probabilistic decorrelation lemma based on a change of measure and a relaxation of Young's inequality in $L_{ψ_p}$ Orlicz spaces. Using the decorrelation lemma in combination with other techniques, such as symmetrization, couplings, and chaining in the space of probability measures, we obtain new upper bounds on the generalization error, both in expectation and in high probability, and recover as special cases many of the existing generalization bounds, including the ones based on mutual information, conditional mutual information, stochastic chaining, and PAC-Bayes inequalities. In addition, the Fernique-Talagrand upper bound on the expected supremum of a subgaussian process emerges as a special case.

研究动机与目标

• 开发一种通用、系统化的方法，用于推导信息论泛化界，涵盖并扩展现有方法。
• 通过引入算法特定信息，解决统一收敛界在高复杂度模型（如深度神经网络）中的局限性。
• 在单一理论框架下统一PAC-Bayes、互信息、随机链式与通用链式等不同研究方向。
• 将Fernique–Talagrand关于次高斯过程期望上确界的经典结果作为特例恢复。
• 提供一种灵活、模块化的方法，可同时获得泛化误差的期望界与高概率界。

提出的方法

• 基于测度变换提出一个基于概率的去相关引理，并在 $L_{\rho_p}$ Orlicz 空间中使用Young不等式的松弛版本。
• 利用对称化与耦合技术，将期望泛化误差与信息论散度相关联。
• 在概率测度空间中应用链式方法，以控制算法输出分布下假设空间的复杂度。
• 在嵌套的假设类上构建近似测度序列 $\pi_k$，以实现泛化误差的递归界控制。
• 采用柯西-施瓦茨不等式与詹森不等式，推导出包含相对熵与度量熵项的高概率界。
• 以 $D(P_{W|S} \| \pi_k)$ 与 $\langle \pi_k \otimes P_{W_{k-1}|W_k}, d^2_{\tilde{S},\ell} \rangle$ 表达界，支持对迭代学习算法的分析。

实验结果

研究问题

• RQ1 是否能通过单一框架统一多种信息论泛化界，包括基于互信息、PAC-Bayes和随机链式的界？
• RQ2 如何系统地应用通过测度变换实现的去相关性，以基于信息散度界定期望泛化误差？
• RQ3 在概率测度空间中应用链式方法，在在多大程度上可替代假设空间中的经典链式方法，以控制经验过程上确界的界？
• RQ4 该框架能否作为特例恢复Fernique–Talagrand关于次高斯过程期望上确界的经典结果？
• RQ5 在何种条件下，该框架能为迭代或随机学习算法提供紧致的、高概率的泛化误差界？

主要发现

• 该框架在额外增加 $\frac{1}{\sqrt{n}}\sum_k \sqrt{\langle \pi_k \otimes P_{W_{k-1}|W_k}, d^2_{\tilde{S},\ell} \rangle}$ 项后，恢复了 [17, Thm. 2] 的PAC-Bayes界。
• 通过在参考测度 $\mu$ 上取最小值，Fernique–Talagrand对 $\mathbb{E}[\sup_{t\in T} X_t]$ 的上界可作为特例被恢复。
• 期望泛化误差被界定为 $\lesssim \sqrt{D(\mathbb{P} \otimes Q \| \mathbb{P} \otimes \mu)} + \text{error}$，其中误差项依赖于过程的正则性。
• 通过链式方法与相对熵，推导出泛化误差的高概率界，显式依赖于 $D(P_{W|S} \| \pi_k)$ 与度量熵。
• 该框架提供了包含 $\sqrt{D(P_{W_k|S} \| \pi_k) + \log(2e/(p_k \delta))}$ 的高概率界，支持有限样本分析。
• 该方法在经典通用链式与现代信息论界之间实现无缝插值，暗示了两种范式之间存在更深层次的联系。