[论文解读] Alpha/Beta Divergences and Tweedie Models

Yusuf Kenan Yilmaz, Ali Taylan Cemgil|arXiv (Cornell University)|Sep 19, 2012

Statistical Mechanics and Entropy参考文献 19被引用 13

一句话总结

本文通过证明β分歧源于Tweedie分布的单位偏差，而α分歧则通过共轭累积量函数关联，建立了α/β分歧与Tweedie指数分散模型之间的直接概率联系。关键贡献在于在方差函数框架下统一了这些分歧，揭示了最小化β分歧等价于Tweedie模型下的最大似然估计。

ABSTRACT

We describe the underlying probabilistic interpretation of alpha and beta divergences. We first show that beta divergences are inherently tied to Tweedie distributions, a particular type of exponential family, known as exponential dispersion models. Starting from the variance function of a Tweedie model, we outline how to get alpha and beta divergences as special cases of Csiszár's $f$ and Bregman divergences. This result directly generalizes the well-known relationship between the Gaussian distribution and least squares estimation to Tweedie models and beta divergence minimization.

研究动机与目标

• 阐明α和β分歧在基础概率模型下的统计解释。
• 通过将α和β分歧建立在Tweedie指数分散模型理论基础上，统一零散的研究结果。
• 证明最小化β分歧等价于Tweedie分布下的最大似然估计。
• 利用Csiszár f-分歧和Bregman分歧，形式化方差函数、累积量生成函数与分歧之间的联系。
• 提供一个基于似然性和模型拟合的分歧选择原则框架。

提出的方法

• 将β分歧推导为Tweedie分布累积量函数生成的Bregman分歧的特例。
• 利用方差函数 v(μ) = μ^p 描述Tweedie模型中均值与方差的关系，直接将其与β分歧参数p关联。
• 通过β分歧项重写指数分散模型的密度，表明 p(x;μ,φ) = g(x,φ) exp{−φ⁻¹dβ(x,μ)}。
• 确立β分歧等于单位偏差的一半，即 dβ(x,μ) = ½dν(x,μ)，将其与饱和模型与参数模型之间的对数似然比联系起来。
• 通过微分β分歧推导μ的得分函数，证明 ∂dβ/∂μ = −φ ∂ℒx(μ)/∂μ，从而证明分歧最小化与似然最大化等价。
• 通过将对数似然表示为基测度 h(x,φ,p) 的形式，分析p和φ的优化，指出仅当特定p值（如p=0,1,2,3）时存在闭式解。

实验结果

研究问题

• RQ1 α和β分歧如何通过其方差函数与Tweedie指数分散模型相关联？
• RQ2 从似然估计的角度看，最小化β分歧的统计解释是什么？
• RQ3 为何Kullback-Leibler分歧是唯一同时属于α和β分歧族的分歧？
• RQ4 β分歧如何从指数分散模型中的单位偏差推导得出？
• RQ5 累积量生成函数在生成α和β分歧中扮演什么角色？

主要发现

• β分歧在数学上等价于指数分散模型中的单位偏差，即 dβ(x,μ) = ½dν(x,μ)，将分歧最小化直接与对数似然比最大化联系起来。
• 最小化β分歧等价于在Tweedie模型下最大化对数似然，如 ∂dβ/∂μ = −φ ∂ℒx(μ)/∂μ 所示。
• Tweedie分布的密度可重写为 p(x;μ,φ) = g(x,φ) exp{−φ⁻¹dβ(x,μ)}，明确地将β分歧嵌入指数族形式中。
• 方差函数 v(μ) = μ^p 完全刻画了Tweedie族，该幂律关系生成了参数p对应的β分歧。
• 当p=2时，模型对应正态分布，且 dβ(x,μ) 退化为平方误差，恢复了经典的最小二乘等价性。
• α分歧通过共轭累积量函数与β分歧关联，KL分歧是两大家族的唯一交点。