[论文解读] Convergence Rates of Variational Inference in Sparse Deep Learning

Badr-Eddine Chérief-Abdellatif|arXiv (Cornell University)|Aug 9, 2019

Gaussian Processes and Bayesian Inference参考文献 74被引用 12

一句话总结

该论文证明，在稀疏深度学习中的变分推断（VI）可实现估计Hölder光滑函数的近极小极大收敛速率，与精确贝叶斯推断的泛化性能相当。通过利用偏差-方差权衡将估计理论与近似理论相联系，并采用ELBO最大化策略的稀疏-斯拉布先验，VI在模型误设情况下仍能自适应地达到最优收敛速率，且不会过拟合。

ABSTRACT

Variational inference is becoming more and more popular for approximating intractable posterior distributions in Bayesian statistics and machine learning. Meanwhile, a few recent works have provided theoretical justification and new insights on deep neural networks for estimating smooth functions in usual settings such as nonparametric regression. In this paper, we show that variational inference for sparse deep learning retains the same generalization properties than exact Bayesian inference. In particular, we highlight the connection between estimation and approximation theories via the classical bias-variance trade-off and show that it leads to near-minimax rates of convergence for Hölder smooth functions. Additionally, we show that the model selection framework over the neural network architecture via ELBO maximization does not overfit and adaptively achieves the optimal rate of convergence.

研究动机与目标

• 建立稀疏深度神经网络中变分推断的理论收敛速率。
• 证明VI在光滑函数估计中保持与精确贝叶斯推断相同的泛化特性。
• 通过深度学习背景下偏差-方差权衡，连接估计理论与近似理论。
• 表明在神经网络架构上对ELBO进行最大化可避免过拟合并实现最优收敛速率。
• 验证稀疏-斯拉布先验在稀疏性约束下实现最优收敛速率的有效性。

提出的方法

• 在网络权重上使用稀疏-斯拉布先验以引入稀疏性，模拟Dropout的贝叶斯替代方案。
• 通过重参数化技巧采用完全分解的高斯近似进行变分推断，实现基于梯度的优化。
• 通过最大化证据下界（ELBO）学习近似后验分布。
• 通过有界变分后验与真实后验之间的KL散度推导收敛速率。
• 采用覆盖论证和集中不等式控制变分后验偏离真实后验的偏差。
• 通过分析模型近似带来的偏差与后验近似带来的方差之间的权衡，推导出近极小极大速率。

实验结果

研究问题

• RQ1 在稀疏深度学习中的变分推断能否实现Hölder光滑函数的近极小极大收敛速率？
• RQ2 在深度网络的变分推断收敛特性中，偏差-方差权衡如何体现？
• RQ3 在神经网络架构上对ELBO进行最大化是否导致过拟合，或实现自适应的最优收敛速率？
• RQ4 在深度网络中使用稀疏-斯拉布先验能否在稀疏性约束下确保最优泛化性能？
• RQ5 在深度贝叶斯学习背景下，近似理论与估计理论之间存在何种理论联系？

主要发现

• 在稀疏深度学习中的变分推断可实现Hölder光滑函数的近极小极大收敛速率，与精确贝叶斯推断的最优速率相当。
• 该方法通过ELBO最大化自适应地适应目标函数的未知光滑度，在模型复杂度较高时仍能避免过拟合。
• 分析中的偏差-方差分解实现了最优权衡，其中方差项通过后验近似的集中不等式得到控制。
• 变分后验与先验之间的KL散度被有界为O(S log n)阶，其中S为稀疏度水平，n为样本量。
• 在适当控制网络深度与宽度的条件下，收敛速率被证明为最优，仅相差对数因子，最终界为O(1/n)。
• 该理论框架支持在深度网络中使用稀疏-斯拉布先验作为Dropout的合理替代方案，实现自适应且最优的泛化性能。