[论文解读] A Generalization Bound for Online Variational Inference

Badr-Eddine Chérief-Abdellatif, Pierre Alquier+1 more|arXiv (Cornell University)|Apr 8, 2019

Machine Learning and Algorithms被引用 2

一句话总结

本文建立了在线变分推断（VI）算法的首个泛化边界，证明了近似贝叶斯方法在在线设置下仍能保持精确贝叶斯推断的强泛化保证。通过利用变分目标的凸性，作者推导了SVA、SVB以及一种新型NGVI算法的边界，实证结果表明NGVI在非凸损失下也优于现有方法。

ABSTRACT

Bayesian inference provides an attractive online-learning framework to analyze sequential data, and offers generalization guarantees which hold even with model mismatch and adversaries. Unfortunately, exact Bayesian inference is rarely feasible in practice and approximation methods are usually employed, but do such methods preserve the generalization properties of Bayesian inference ? In this paper, we show that this is indeed the case for some variational inference (VI) algorithms. We consider a few existing online, tempered VI algorithms, as well as a new algorithm, and derive their generalization bounds. Our theoretical result relies on the convexity of the variational objective, but we argue that the result should hold more generally and present empirical evidence in support of this. Our work in this paper presents theoretical justifications in favor of online algorithms relying on approximate Bayesian methods.

研究动机与目标

• 建立在线变分推断算法的理论泛化边界。
• 研究近似贝叶斯方法是否在序列学习中保留了精确贝叶斯推断的泛化特性。
• 将此前仅限于批量设置的泛化边界扩展至在线学习范式。
• 提出并分析一种新型在线VI算法NGVI，其具有改进的实证性能。
• 通过实证证据检验理论边界的鲁棒性，超越凸性假设的范围。

提出的方法

• 利用变分目标 Eθ∼qμ[ℓt(θ)] 关于变分参数 μ 的凸性，推导在线VI的泛化边界。
• 提出一种新型在线VI算法NGVI（非高斯变分推断），旨在提升收敛速度与性能。
• 将现有在线算法——SVA、SVB、OGA、OGA-EL——适配用于带温度调整似然的在线VI。
• 采用高斯平均场变分族 F = {qμ = N(m, diag(σ²))}，并限定参数空间 Mm 与 Mσ 有界。
• 对 OGA、OGA-EL、SVA 使用学习率 η = 1/√T，对 SVB 使用学习率 ηt = 1/σ²t√t，对 NGVI 使用 ηt = 1。
• 通过在真实世界与合成数据集上进行实验，验证理论发现，损失函数涵盖凸与非凸情形。

实验结果

研究问题

• RQ1 能否将适用于精确贝叶斯推断的泛化边界扩展至在线变分推断？
• RQ2 SVA、SVB与NGVI等在线VI算法是否能保持与精确贝叶斯方法相同的泛化保证？
• RQ3 变分目标的凸性假设是否为泛化所必需？边界是否可在更一般情形下成立？
• RQ4 NGVI在不同损失函数下与SVA、SVB、OGA、OGA-EL的实证性能如何比较？
• RQ5 理论边界能否扩展至Khan和Lin（2017）所提出的非高斯或非凸参数化形式？

主要发现

• NGVI在所有数据集上均优于SVA、SVB、OGA与OGA-EL，表现出更快的收敛速度与更优的累积损失性能。
• SVA与SVB的泛化边界在凸性假设下推导得出，其形式与精确贝叶斯推断相似。
• 实证结果表明，泛化特性可超越凸性限制，NGVI在ReLU等非凸损失（如回归任务）中表现优异。
• 理论边界依赖于 Eθ∼qμ[ℓt(θ)] 的凸性，但实证证据表明边界可能在更广泛情形下成立。
• SVA与SVB表现强劲，但NGVI在所有数据集上始终实现最低的平均累积损失。
• 本研究证实，即使在理论假设被放宽的情况下，在线VI方法在实践中仍能实现一致性和泛化能力。