[论文解读] Consistent Sparse Deep Learning: Theory and Computation

Yan Sun, Qifan Song+1 more|arXiv (Cornell University)|Feb 25, 2021

Gaussian Processes and Bayesian Inference参考文献 85被引用 6

一句话总结

该论文在贝叶斯框架下提出了一种类似频率学派的方法，用于学习稀疏深度神经网络（DNNs），确保后验一致性、变量选择一致性以及最优泛化界。该方法通过混合高斯先验和基于拉普拉斯近似的边际后验包含概率实现，使基于随机梯度下降的训练高效且可扩展，同时为连接数最多为 $O(n/\log n)$ 的DNN保持理论保证。

ABSTRACT

Deep learning has been the engine powering many successes of data science. However, the deep neural network (DNN), as the basic model of deep learning, is often excessively over-parameterized, causing many difficulties in training, prediction and interpretation. We propose a frequentist-like method for learning sparse DNNs and justify its consistency under the Bayesian framework: the proposed method could learn a sparse DNN with at most $O(n/\log(n))$ connections and nice theoretical guarantees such as posterior consistency, variable selection consistency and asymptotically optimal generalization bounds. In particular, we establish posterior consistency for the sparse DNN with a mixture Gaussian prior, show that the structure of the sparse DNN can be consistently determined using a Laplace approximation-based marginal posterior inclusion probability approach, and use Bayesian evidence to elicit sparse DNNs learned by an optimization method such as stochastic gradient descent in multiple runs with different initializations. The proposed method is computationally more efficient than standard Bayesian methods for large-scale sparse DNNs. The numerical results indicate that the proposed method can perform very well for large-scale network compression and high-dimensional nonlinear variable selection, both advancing interpretable machine learning.

研究动机与目标

• 为解决深度神经网络（DNNs）的过度参数化问题，该问题阻碍了训练、泛化和可解释性。
• 开发一种在贝叶斯框架下具有理论一致性保证的稀疏DNN学习方法。
• 通过基于优化的方法（如随机梯度下降）实现大规模稀疏DNN的高效、可扩展训练。
• 为具有有界权重和连接数的稀疏DNN建立后验一致性和变量选择一致性。
• 在较弱正则性条件下，为通过贝叶斯框架训练的稀疏DNN提供渐近最优的泛化界。

提出的方法

• 在DNN权重上使用混合高斯先验以诱导稀疏性并支持贝叶斯推断。
• 应用拉普拉斯近似计算用于结构选择的边际后验包含概率。
• 利用贝叶斯证据从多个具有不同初始化的SGD训练运行中选择稀疏DNN。
• 在混合高斯先验下建立稀疏DNN的后验一致性，确保随着样本量增加收敛至真实模型。
• 利用基于优化的训练（如SGD）与贝叶斯模型选择相结合，相比MCMC提高计算效率。
• 通过逐层激活和权重扰动的递归不等式，推导出网络输出和模型差异的理论界。

实验结果

研究问题

• RQ1 具有 $O(n/\log n)$ 条连接的稀疏DNN能否实现后验一致性与最优泛化界？
• RQ2 能否使用贝叶斯后验包含概率一致地恢复稀疏DNN的结构？
• RQ3 能否将基于优化的方法（如SGD）与贝叶斯模型选择结合，实现一致的稀疏DNN学习？
• RQ4 所提方法如何在高维非线性特征选择中确保变量选择一致性？
• RQ5 在贝叶斯框架下，通过随机梯度下降训练的稀疏DNN可建立哪些理论保证？

主要发现

• 所提方法在混合高斯先验下实现了稀疏DNN的后验一致性，确保随着样本量增加收敛至真实模型。
• 通过基于拉普拉斯近似的边际后验包含概率建立了变量选择一致性，实现了对相关连接的可靠识别。
• 该方法确保了渐近最优的泛化界，与稀疏DNN的理论极限相匹配。
• 理论分析表明，连接数最多为 $O(n/\log n)$ 的稀疏DNN可近似真实映射并达到期望精度。
• 通过结合SGD与贝叶斯证据，该方法实现了大规模稀疏DNN的高效训练，避免了MCMC的计算负担。
• 数值结果证实了该方法在网络压缩和高维非线性变量选择方面的优异性能，推动了可解释机器学习的发展。