[论文解读] Chaining Mutual Information and Tightening Generalization Bounds

Amir R. Asadi, Emmanuel Abbé+1 more|arXiv (Cornell University)|Jun 11, 2018

Stochastic Gradient Optimization Techniques参考文献 23被引用 13

一句话总结

本文提出了一种新颖的泛化界，统一了链式法（chaining）与互信息方法，以收紧机器学习中的泛化误差界。通过结合基于度量的假设依赖性（通过链式法）与算法输入/输出依赖性（通过互信息），该方法在单独使用任一方法时均能获得显著更紧的界，尤其当算法以高概率从少量假设中选择时效果更佳。

ABSTRACT

Bounding the generalization error of learning algorithms has a long history, which yet falls short in explaining various generalization successes including those of deep learning. Two important difficulties are (i) exploiting the dependencies between the hypotheses, (ii) exploiting the dependence between the algorithm's input and output. Progress on the first point was made with the chaining method, originating from the work of Kolmogorov, and used in the VC-dimension bound. More recently, progress on the second point was made with the mutual information method by Russo and Zou '15. Yet, these two methods are currently disjoint. In this paper, we introduce a technique to combine the chaining and mutual information methods, to obtain a generalization bound that is both algorithm-dependent and that exploits the dependencies between the hypotheses. We provide an example in which our bound significantly outperforms both the chaining and the mutual information bounds. As a corollary, we tighten Dudley's inequality when the learning algorithm chooses its output from a small subset of hypotheses with high probability.

研究动机与目标

• 解决现有泛化界无法利用假设之间依赖性以及算法输入与输出之间依赖性的问题。
• 克服经典界（如VC维、Rademacher复杂度）在过参数化设置（如深度学习）下出现的平凡性（vacuousness）问题。
• 构建一个统一框架，整合链式法（用于假设依赖性）与互信息（用于输入输出依赖性）。
• 提供一个既依赖于算法又对假设空间结构敏感的更紧泛化界。
• 在具体示例中展示所提边界的优越性，其表现优于单独使用链式法或互信息边界。

提出的方法

• 引入分层链式框架，使用在尺度 $2^{-k}$ 处的嵌套网 $\mathcal{N}_k$，其中每个 $\mathcal{N}_k$ 是假设空间 $T$ 的 $2^{-k}$-网。
• 定义一个表示算法输出假设的随机变量 $W$，并使用投影 $\pi_{\mathcal{N}_k}(W)$ 在每个尺度上近似 $W$。
• 通过望远镜和（telescoping sum）界定期望泛化误差：$\mathbb{E}[|X_W - X_{t_0}|] \leq \sum_{k=k_0+1}^\infty \mathbb{E}[|X_{\pi_{\mathcal{N}_k}(W)} - X_{\pi_{\mathcal{N}_{k-1}}(W)}|]$。
• 将Dudley不等式中的Hartley熵替换为互信息：$I(\pi_{\mathcal{N}_k}(W), \pi_{\mathcal{N}_{k-1}}(W); X_T)$，从而实现依赖于算法的界。
• 利用次高斯尾部假设与凸共轭 $\psi^*$ 界定增量，得到 $\mathbb{E}[|X_{\pi_{\mathcal{N}_k}(W)} - X_{\pi_{\mathcal{N}_{k-1}}(W)}|] \leq 3\sqrt{2} \cdot 2^{-k} \cdot \psi^{*-1}(I(\cdot; X_T) + \log 2)$。
• 推导出一般界：$\mathbb{E}[X_W] \leq 3\sqrt{2} \sum_{k=k_0+1}^\infty 2^{-k} \psi^{*-1}(I(\pi_{\mathcal{N}_k}(W), \pi_{\mathcal{N}_{k-1}}(W); X_T))$。

实验结果

研究问题

• RQ1 链式法与互信息方法能否结合使用，以获得比单独使用任一方法更紧的泛化界？
• RQ2 如何联合利用假设之间的依赖性（通过度量结构）与输入输出之间的依赖性（通过互信息）？
• RQ3 当算法从假设的较小子集选择输出时，对泛化误差界有何影响？
• RQ4 当输出集中在假设空间的较小子集上时，所提方法能否改进Dudley不等式？
• RQ5 在链式步骤中使用互信息如何改进基于覆盖数的经典链式界？

主要发现

• 在具有高斯过程与最大选择算法的具体示例中，所提边界显著优于链式边界（Dudley）与互信息边界。
• 当算法输出集中在较小子集 $T_1 \subset T$ 上时，边界变为 $\mathbb{E}[X_W] \leq 6 \sum_{k=k_1(T)}^\infty 2^{-k} \left(\alpha \log N(T_1,d,2^{-k}) + (1-\alpha) \log N(T_2,d,2^{-k}) + H(\alpha)\right)^{1/2}$，该界比Dudley的界更紧。
• 该方法用互信息 $I(\pi_{\mathcal{N}_k}(W), \pi_{\mathcal{N}_{k-1}}(W); X_T)$ 替代了Dudley不等式中的Hartley熵 $\log |\mathcal{N}_k|$，从而实现了依赖于算法的紧致化。
• 对于次高斯过程，边界为 $\mathbb{E}[X_W] \leq 3\sqrt{2} \sum_{k=k_0+1}^\infty 2^{-k} \psi^{*-1}(I(\pi_{\mathcal{N}_k}(W), \pi_{\mathcal{N}_{k-1}}(W); X_T))$，其中 $\psi^*$ 是矩生成函数尾部界之凸共轭。
• 当算法输出分布集中在假设空间的较小子集上时，该边界严格优于Dudley不等式，如在 $T_1$ 与 $T_2$ 的示例中所示。
• 该方法提供了既依赖于假设（通过链式度量）又依赖于算法（通过互信息）的泛化界，解决了先前工作中存在的两个关键局限。