[论文解读] Information-theoretic analysis of generalization capability of learning algorithms

Aolin Xu, Maxim Raginsky|arXiv (Cornell University)|May 22, 2017

Stochastic Gradient Optimization Techniques参考文献 9被引用 102

一句话总结

论文通过输入 S 与输出 W 之间的互信息推导学习泛化误差的上界，并提出信息理论正则化方法（Gibbs 和带噪声的 ERM）来控制过拟合。

ABSTRACT

We derive upper bounds on the generalization error of a learning algorithm in terms of the mutual information between its input and output. The bounds provide an information-theoretic understanding of generalization in learning problems, and give theoretical guidelines for striking the right balance between data fit and generalization by controlling the input-output mutual information. We propose a number of methods for this purpose, among which are algorithms that regularize the ERM algorithm with relative entropy or with random noise. Our work extends and leads to nontrivial improvements on the recent results of Russo and Zou.

研究动机与目标

• 提供信息理论层面对学习问题中的泛化进行理解。
• 将泛化误差与输入输出互信息 I(S;W) 联系起来。
• 开发控制 I(S;W) 的算法方法以提升泛化。
• 将先前结果扩展到不可数的假设空间并推导出集中结果。
• 讨论自适应组合以及利用信息理论稳定性进行的实际算法设计。

提出的方法

• 将学习建模为从数据集 S 到假设 W 的随机通道 P_{W|S}。
• 在子高斯损失下，给出 gen(mu, P_{W|S}) 相对于 I(S;W) 的上界。
• 给出一个解耦引理，将 E[f(X,Y)] 与 E[f(X̄,Ȳ)] 通过 I(X;Y) 联系起来。
• 显示以 I(S;W) 作为正则项的 ERM 会导致类似 Gibbs 的解。
• 引入并分析 Gibbs 算法作为对正则化风险目标的解。
• 给出基于 I(S;W) 的 concentration 界与样本复杂度结果。

实验结果

研究问题

• RQ1 如何利用信息理论量（如 I(S;W)）来对泛化误差进行界定？
• RQ2 我们能否将 Russo 与 Zou 的界限扩展到不可数的假设空间并获得集中结果？
• RQ3 在实际中，利用互信息正则化（如 Gibbs、带噪声的 ERM）如何控制过拟合？
• RQ4 自适应组合在多阶段学习中维持泛化性扮演何种角色？
• RQ5 这些信息理论界限如何与关于总体风险的先验知识相联系？

主要发现

• 当损失为 σ-子高斯时，泛化误差可以被 sqrt(2σ^2 I(S;W)/n) 上界。
• 对于任意具子高斯参数 σ 的损失，I(S;W) 通过 定理 1 来控制泛化。
• Gibbs 算法和带噪声的 ERM 提供现实可行的方式来调控 I(S;W)，从而调控泛化。
• 如果假设空间是可数的，gen(mu, W) ≤ sqrt(2σ^2 H(W)/n).
• 两阶段程序和自适应组成通过串联互信息项来实现对整体泛化的控制。
• Gibbs 算法在选择 Q 时提供先验信息的总体风险保证，并具有差分隐私的含义。