[论文解读] $A$-Hypergeometric Distributions and Newton Polytopes

Nobuki Takayama, Satoshi Kuriki+1 more|arXiv (Cornell University)|Oct 8, 2015

Advanced Statistical Methods and Models参考文献 10被引用 3

一句话总结

该论文利用牛顿多面体，建立了参数商空间与矩空间之间的双射，通过解析梯度法（HGM）实现算法化的逆矩映射。证明了矩映射与迭代比例缩放（IPS）的渐近等价性，为$A$-超几何多项式提供了新近似，并在统计学中实现了条件最大似然估计。

ABSTRACT

We give a bijection between a quotient space of the parameters and the space of moments for any $A$-hypergeometric distribution. An algorithmic method to compute the inverse image of the map is proposed utilizing the holonomic gradient method and an asymptotic equivalence of the map and the iterative proportional scaling. The algorithm gives a method to solve a conditional maximum likelihood estimation problem in statistics. Our interplay between the theory of hypergeometric functions and statistics gives some new formulas of $A$-hypergeometric polynomials.

研究动机与目标

• 建立$A$-超几何分布参数空间与矩空间之间的数学对应关系。
• 开发一种计算矩映射逆的算法方法，这对统计学中条件最大似然估计至关重要。
• 探讨矩映射与迭代比例缩放（IPS）之间的渐近等价性，将统计估计与代数几何联系起来。
• 利用超几何函数与牛顿多面体之间的相互作用，推导$A$-超几何多项式的新型公式。

提出的方法

• 将$A$-超几何分布定义为在泊松模型下，固定充分统计量$Au = \beta$的条件分布。
• 利用对数分母函数$\psi(\xi) = \log Z(\beta; p(\xi))$，将矩表示为$E[U_i] = \partial_{\xi_i} \psi(\xi)$，从而建立从$\xi$-空间到$\eta$-空间的矩映射。
• 通过$A$的环面作用引入参数的商空间，识别出产生相同矩的等价$\xi$-值。
• 证明矩映射的像是由$Z(\beta; p)$的牛顿多面体的相对内部，从而与商空间建立双射。
• 应用解析梯度法（HGM）对矩映射进行数值求逆，实现条件MLE的计算。
• 证明HGM迭代与迭代比例缩放（IPS）的渐近等价性，利用此性质初始化HGM并近似归一化常数$Z(\beta; p)$。

实验结果

研究问题

• RQ1 矩映射$\xi \mapsto E[U]$在$\eta$-空间中的像是什么？其几何特征如何刻画？
• RQ2 如何高效计算$A$-超几何模型中统计推断的矩映射逆？
• RQ3 在$A$-超几何分布背景下，解析梯度法与迭代比例缩放（IPS）之间有何关系？
• RQ4 能否使用IPS过程渐近近似归一化常数$Z(\beta; p)$，其误差行为如何？

主要发现

• 矩映射$E[U]$的像是由$A\eta = \beta$，$\eta \geq 0$定义的牛顿多面体的相对内部，从而对矩空间给出了几何刻画。
• 在模$A$的环面作用下的参数商空间与$\eta$-空间中的牛顿多面体之间建立了双射，为信息几何提供了新的同构关系。
• 解析梯度法（HGM）为矩映射求逆提供了有效的算法方法，使$A$-超几何分布的条件最大似然估计成为可能。
• 矩映射与迭代比例缩放（IPS）渐近等价，对于缩放问题$k\beta$，两者收敛至同一极限，当$k \to \infty$时。
• 定理6提供了使用IPS解$m$对$Z(k\beta; p)$的渐近近似，误差随$k$增大而减小，数值验证了$k=9, 200, 300$的情况。
• 当$k=9$时，$\log Z$的HGM近似误差为1.8052，至$k=300$时降低至0.3734，表明其趋近于精确值。