[论文解读] Information-Theoretic Generalization Bounds for SGLD via Data-Dependent Estimates

Jeffrey Negrea, Mahdi Haghifam+3 more|arXiv (Cornell University)|Nov 6, 2019

Machine Learning and Algorithms被引用 38

一句话总结

该论文利用数据相关的估计为随机梯度 Langevin 动力学 (SGLD) 构建信息理论泛化界，并引入解耦互信息作为一个关键工具。

ABSTRACT

In this work, we improve upon the stepwise analysis of noisy iterative learning algorithms initiated by Pensia, Jog, and Loh (2018) and recently extended by Bu, Zou, and Veeravalli (2019). Our main contributions are significantly improved mutual information bounds for Stochastic Gradient Langevin Dynamics via data-dependent estimates. Our approach is based on the variational characterization of mutual information and the use of data-dependent priors that forecast the mini-batch gradient based on a subset of the training samples. Our approach is broadly applicable within the information-theoretic framework of Russo and Zou (2015) and Xu and Raginsky (2017). Our bound can be tied to a measure of flatness of the empirical risk surface. As compared with other bounds that depend on the squared norms of gradients, empirical investigations show that the terms in our bounds are orders of magnitude smaller.

研究动机与目标

• 在学习设定中，激发对 SGLD 的信息理论泛化界限的需求。
• 引入并形式化解耦互信息，作为一个条件依赖性度量。
• 发展数据依赖估计，用以界定 SGLD 的泛化误差。
• 提供将 KL 发散、互信息以及条件 MI 关联到泛化界限的理论结果。

提出的方法

• 定义解耦互信息 I_Z(X;Y) = KL(P_Z[(X,Y)] || P_Z[X] ⊗ P_Z[Y].
• 使用给定 Z 的条件期望 E_Y|Z 以及条件分布，来表述信息理论量。
• 将标准信息理论概念（KL、互信息、条件互信息）与分解方法结合使用。
• 推导依赖数据相关信息量的泛化误差界。
• 提供一个框架，将解耦 MI 与期望的解耦 MI I(X;Y|Z) = E I_Z(X;Y) 联系起来。
• 将该方法具体应用于带有 SGLD 的随机优化设置。

实验结果

研究问题

• RQ1 解耦互信息如何用于界定 SGLD 的泛化误差？
• RQ2 哪些数据依赖的信息量能为具有随机梯度的学习算法提供紧凑的泛化界？
• RQ3 KL 发散与条件 MI 如何在存在数据相关随机性时与泛化相关？
• RQ4 我们能否推导出依赖样本的、可解释的在 SGLD 情况下的实用界限？
• RQ5 需要哪些正则性条件使解耦 MI 框架能够产生有效的界限？

主要发现

• 建立了一套基于解耦互信息的信息理论泛化界限框架。
• 以数据相关信息量如 I_Z(X;Y) 表达泛化界限。
• 将标准信息理论量（KL、MI、条件 MI）与适用于 SGLD 的分解方法联系起来。
• 给出理论结果，表明数据相关估计如何通过解耦 MI 影响泛化。
• 概述将该框架应用于带有 SGLD 的随机优化的步骤，通过对随机源 Z 进行条件化来实现。