[论文解读] Global-Local Mixtures

Anindya Bhadra, Jyotishka Datta+2 more|arXiv (Cornell University)|Apr 26, 2016

Bayesian Methods and Mixture Models参考文献 17被引用 4

一句话总结

本文提出了一种新颖的框架，利用柯西-施洛米施和里乌维尔积分变换构建全局-局部尺度混合分布，实现了拉普拉斯（套索）、逻辑斯蒂克和分位数惩罚等知名分布的闭式表示。主要贡献在于提出了一种系统化方法，用于推导解析可处理的全局-局部混合分布，并在贝叶斯正则化和卷积模型中实现应用。

ABSTRACT

Global-local mixtures are derived from the Cauchy-Schlomilch and Liouville integral transformation identities. We characterize well-known normal-scale mixture distributions including the Laplace or lasso, logit and quantile as well as new global-local mixtures. We also apply our methodology to convolutions that commonly arise in Bayesian inference. Finally, we conclude with a conjecture concerning bridge and uniform correlation mixtures.

研究动机与目标

• 开发一种利用积分变换恒等式系统构建全局-局部尺度混合分布的一般方法。
• 通过解析推导，表征已知分布（如拉普拉斯、逻辑斯蒂克和分位数惩罚）为全局-局部混合分布。
• 将该框架扩展至贝叶斯推断中出现的卷积，实现后验计算的可处理性。
• 推测桥分布和均匀相关性混合分布也源于这些变换恒等式，暗示其更广泛的应用潜力。
• 为贝叶斯收缩与正则化中的尺度混合提供统一的理论基础，尤其适用于高维模型。

提出的方法

• 利用柯西-施洛米施变换：∫₀^∞ f((ax − b/x)²)dx = (1/(2a))∫₀^∞ f(y²)dy，推导新的全局-局部混合分布。
• 应用里乌维尔变换：∫₀^∞ f(ax + b/x)x⁻¹/²dx = a⁻¹/²∫₀^∞ f(2(ab)¹/² + y)y⁻¹/²dy，生成尺度混合分布。
• 采用自逆函数 s(x) = b/x 或 s(x) = −a⁻¹log(1 − eᵃˣ) 以推广变换恒等式。
• 应用辛钦定理及其推广，从单变量和多变量分布生成形式为 2g{t(x)} 的单峰密度。
• 利用莱维恒等式和拉普拉斯变换，通过 ∫₀^∞ e⁻ᶜ⁽ᵗ⁻ᵗ⁻¹⁾² dt = (π/(2c))¹/² e⁻²ᶜ 推导套索惩罚作为正态-尺度混合。
• 建立稳定分布和指数幂分布可表示为正态尺度混合，从而将其与贝叶斯桥回归联系起来。

实验结果

研究问题

• RQ1 柯西-施洛米施和里乌维尔恒等式能否系统地用于推导闭式全局-局部混合分布？
• RQ2 这些积分恒等式如何应用于表示经典正则化惩罚（如套索和逻辑斯蒂克惩罚）？
• RQ3 均匀相关性混合的二元正态分布与最大范数之间有何联系？能否通过这些变换推导出？
• RQ4 对称稳定分布和指数幂分布是否可通过这些恒等式作为全局-局部混合分布出现？
• RQ5 该框架能否扩展至生成高阶矩和尺度混合模型中的多变量依赖结构？

主要发现

• 柯西-施洛米施恒等式可推导出拉普拉斯（套索）惩罚作为全局-局部尺度混合，通过 ∫₀^∞ e⁻ᶜ⁽ᵗ⁻ᵗ⁻¹⁾² dt = (π/(2c))¹/² e⁻²ᶜ。
• 套索惩罚被证明源于具有伽马混合分布的正态-尺度混合，如恒等式 ∫₀^∞ (a/(2π)¹/² t⁻³/²) e⁻ᵃ²/(²ᵗ) e⁻λᵗ dt = e⁻ᵃ⁽²λ⁾¹/² 所示。
• 逻辑斯蒂克分布通过在变换框架中使用逻辑累积分布函数的反函数，被推导为全局-局部混合。
• 单位方差二元正态分布的均匀相关性混合被证明等于 (1/2)(1 − Φ(||x||∞))，其中 Φ 为标准正态累积分布函数。
• 通过拉普拉斯变换和代换，证明了埃勒代利恒等式 ∫₁/²^∞ e⁻ˣ²ᶻ / (4πz(2z−1)¹/²) dz = (1/2)(1 − Φ(x))，并将其与均匀相关性结果联系起来。
• 本文推测对称稳定分布和指数幂密度可由柯西-施洛米施公式推导，对贝叶斯桥回归具有重要意义。