[论文解读] Extending Owen's integral table and a new multivariate Bernoulli distribution

Marcelo Hartmann|arXiv (Cornell University)|Apr 16, 2017

Statistical Distribution Estimation and Applications参考文献 3被引用 3

一句话总结

本文通过推导涉及标准正态累积分布函数乘积与正态密度函数的新型多元正态积分恒等式，扩展了Owen的积分表，实现了多元伯努利分布的闭式计算。关键贡献在于提出一种新型多元伯努利模型，其中成功概率由潜在高斯变量决定，其边缘似然可表示为具有结构化协方差矩阵的多元正态累积分布函数。

ABSTRACT

We extend some equatilites in the Owen's table of normal integrals (A table of normal integrals in Communication in Statistics-Simulation and Computation, 1980). Furthermore a new probabilistic model for a vector of binary random variables is proposed.

研究动机与目标

• 通过推导涉及标准正态累积分布函数的多元正态积分的新闭式解，扩展Owen的积分表。
• 开发一种新的多元伯努利分布，其中成功概率通过标准正态累积分布函数与潜在高斯变量关联。
• 为此前需通过数值求积计算的积分提供解析解，应用于高斯过程模型和probit回归等场景。
• 建立多元正态累积分布函数与离散潜变量模型边缘似然之间的联系。

提出的方法

• 推导出N个标准正态累积分布函数乘积与正态密度函数积分的一般恒等式，表明其等于具有特定协方差矩阵的多元正态累积分布函数。
• 通过变量变换将联合密度重新表达为辅助变量形式，从而识别出多元正态结构。
• 应用分块矩阵求逆与行列式引理，推导出所得多元正态分布的协方差矩阵。
• 提出一种新的多元伯努利模型，其中每个二值结果通过标准正态累积分布函数依赖于一个潜在高斯变量。
• 通过雅可比校正变换潜变量与二值结果的联合分布，得到边缘分布为多元正态累积分布函数的表达式。
• 证明二值向量的边缘概率为均值为−I_y μ、协方差矩阵为I_N + I_y Σ I_y的多元正态累积分布函数。

实验结果

研究问题

• RQ1 Owen的积分表能否扩展至包含标准正态累积分布函数乘积与正态密度函数的多元积分？
• RQ2 积分∫ℝ ∏_{r=1}^N Φ((x−m_r)/v_r) N(x|μ,σ²) dx 的解析形式为何？
• RQ3 能否从具有潜变量的高斯-伯努利层次模型中推导出新的多元伯努利分布？
• RQ4 当每个分量在给定f_r时条件独立服从伯努利分布且成功概率为Φ(f_r)，其中f_r为高斯分布时，多元二值向量的边缘分布为何？
• RQ5 所得边缘似然如何用具有结构化协方差矩阵的多元正态累积分布函数表示？

主要发现

• 积分∫ℝ ∏_{r=1}^N Φ((x−m_r)/v_r) N(x|μ,σ²) dx 等于F_N(μ 1_N | m_N, V_N)，其中V_N的对角线元素为v_r² + σ²，非对角线元素为σ²。
• 在Y_r | f_r ~ Bernoulli(Φ(f_r))且f ~ N(μ, Σ)的条件下，多元二值向量Y的边缘分布为π_Y(y) = F_N(0 | -I_y μ, I_N + I_y Σ I_y)。
• 当N=2，μ = [0,0]^T，σ₁²=σ₂²→0，σ₁₂=1/2时，概率为π(1,1)=π(-1,-1)=1/3，π(1,-1)=π(-1,1)=1/6，与已知的二元正态象限概率一致。
• 该方法为此前需通过数值求积计算的积分提供了闭式解，在贝叶斯模型中显著提升了计算效率。
• 所推导的多元伯努利分布对任意N及潜变量高斯分布的任意均值与协方差结构均有效。
• 通过z = I_y f的变换与雅可比校正，验证了边缘分布为均值为−I_y μ、协方差矩阵为I_N + I_y Σ I_y的多元正态累积分布函数。