[论文解读] Alpha-Beta Divergence For Variational Inference

Jean-Baptiste Regli, Ricardo Silva|arXiv (Cornell University)|May 2, 2018

Gaussian Processes and Bayesian Inference参考文献 17被引用 20

一句话总结

本文提出了一种尺度不变的 Alpha-Beta（sAB）散度，作为统一的变分推断目标，其可推广KL散度、Rényi散度和伽马散度。通过直接使用蒙特卡洛方法优化sAB散度，实现了对质量覆盖、模式搜索以及对异常值鲁棒性之间的平滑权衡，在数据受损的回归任务中表现出更优性能。

ABSTRACT

This paper introduces a variational approximation framework using direct optimization of what is known as the {\it scale invariant Alpha-Beta divergence} (sAB divergence). This new objective encompasses most variational objectives that use the Kullback-Leibler, the R{é}nyi or the gamma divergences. It also gives access to objective functions never exploited before in the context of variational inference. This is achieved via two easy to interpret control parameters, which allow for a smooth interpolation over the divergence space while trading-off properties such as mass-covering of a target distribution and robustness to outliers in the data. Furthermore, the sAB variational objective can be optimized directly by repurposing existing methods for Monte Carlo computation of complex variational objectives, leading to estimates of the divergence instead of variational lower bounds. We show the advantages of this objective on Bayesian models for regression problems.

研究动机与目标

• 将现有的变分推断目标（如KL散度、Rényi散度和伽马散度）统一到基于Alpha-Beta散度的单一框架下。
• 实现sAB散度的直接优化，而非依赖证据下界（ELBO），从而实现更精确且可解释的散度估计。
• 提供一种灵活的变分推断框架，可平滑插值不同近似行为，包括质量覆盖与对异常值的鲁棒性。
• 在数据污染和异常值条件下，展示sAB目标在贝叶斯回归模型中的实际优势。

提出的方法

• 提出尺度不变的Alpha-Beta（sAB）散度作为标准AB散度的扩展，通过变分后验与真实联合分布的期望进行定义。
• 推导出sAB散度的闭式表达式，包括退化参数值（如α=0, β=0）的特殊情况，以实现数值稳定性。
• 开发一种蒙特卡洛估计策略，直接计算并优化sAB散度，避免对ELBO最大化的需求。
• 采用完全分解的高斯变分族进行后验近似，与标准深度学习优化流程兼容。
• 使用随机梯度下降（ADAM）结合蒙特卡洛采样来训练贝叶斯神经网络，并在优化过程中估计sAB散度。
• 采用嵌套交叉验证，在网格上调整α和β超参数，基于验证性能选择最佳配置。

实验结果

研究问题

• RQ1 sAB散度是否能在一个统一框架内统一并推广现有的变分推断目标，如KL散度、Rényi散度和伽马散度？
• RQ2 与基于ELBO的标准VI相比，sAB散度的直接优化是否能在存在异常值的情况下带来更优的后验近似？
• RQ3 α和β参数如何控制变分推断中质量覆盖与模式搜索行为之间的权衡？
• RQ4 sAB目标在贝叶斯回归任务中对数据污染的鲁棒性提升程度如何？
• RQ5 sAB框架是否能通过现有深度学习库和蒙特卡洛采样技术实现高效实现？

主要发现

• sAB散度作为特殊情形，统一了KL散度、Rényi散度和伽马散度，为变分推断提供了统一目标。
• sAB散度的直接优化可实现对真实散度更精确的估计，避免了ELBO最大化中固有的偏差。
• 在含5%异常值的合成回归数据上，α=1.5、β=0.5的sAB目标在测试误差上优于标准VI（ELBO）及其他基于散度的方法。
• 该方法对数据污染表现出鲁棒性：使用α>1且β<1的模型对污染数据点的敏感性显著降低。
• 在人工污染输出的UCI基准数据集上，经过α和β参数调优的sAB框架在预测准确性和不确定性校准方面优于基线方法。
• 该框架具备可扩展性，与标准深度学习工具兼容，支持使用ADAM和蒙特卡洛采样实现贝叶斯神经网络的端到端训练。