[论文解读] Bayesian Generalization Error of Poisson Mixture and Simplex Vandermonde Matrix Type Singularity

Kenichiro Sato, Sumio Watanabe|arXiv (Cornell University)|Dec 31, 2019

Bayesian Methods and Mixture Models参考文献 10被引用 5

一句话总结

本文推导了泊松混合模型与单纯形范德蒙德矩阵型奇点的实对数坎朗阈值（RLCT），并确立了贝叶斯泛化误差的渐近行为：在一维情形下，$\mathbb{E}[G_n] = L(w_0) + \frac{3r+H-2}{4n} + o(1/n)$；在高维情形下，$\mathbb{E}[G_n] = L(w_0) + \frac{Mr+H-1}{2n} + o(1/n)$，其中 $r = H^*$ 为真实分量的数量。该结果通过代数几何与 торic 变换技术，解决了长期以来关于 $H^* > 1$ 时泊松混合模型 RLCT 的开放问题。

ABSTRACT

A Poisson mixture is one of the practically important models in computer science, biology, and sociology. However, the theoretical property has not been studied because the posterior distribution can not be approximated by any normal distribution. Such a model is called singular and it is known that Real Log Canonical Threshold (RLCT) is equal to the coefficient of the asymptotically main term of the Bayesian generalization error. In this paper, we derive RLCT of a simplex Vandermonde matrix type singularity which is equal to that of a Poisson mixture in general cases.

研究动机与目标

• 解决在真实分量数 $H^* > 1$ 时，泊松混合模型的实对数坎朗阈值（RLCT）计算这一长期悬而未决的开放问题，尽管此前已解决 $H^* = 1$ 的情形。
• 通过将贝叶斯泛化误差的渐近形式与单纯形范德蒙德矩阵的代数奇点结构相联系，建立泊松混合模型的精确渐近表达式。
• 证明泊松混合模型的 RLCT 等于单纯形范德蒙德矩阵型奇点的 RLCT，从而统一这两类奇异模型的分析框架。
• 利用 toric 变换与局部坐标变换，将先前对泊松混合模型 RLCT 的上界结果推广为精确值。

提出的方法

• 作者分析 Kullback-Leibler 散度函数 $K(w)$ 作为平均误差函数，并推导其在奇点附近的渐近行为。
• 应用 toric 变换技术以解析泊松混合模型的代数奇点，特别关注单纯形范德蒙德矩阵结构。
• 通过雅可比行列式进行变量替换，以简化奇点结构，尤其引入新变量如 $u^{(j)} = -a_j^* + \sum_i a_i^{(j)}$ 与 $b_{i(j)m}^{\prime(j)} = \sum_i a_i^{(j)}(b_{im}^{(j)} - b_{jm}^*)$。
• 该方法涉及将奇点分解为不可约分量，并通过变换坐标系下平方项的和来计算 RLCT。
• 作者推导了 RLCT 的局部下界，并证明其与已知上界一致，从而证明了精确值。
• 分析区分了一维与高维（$>1$）情形，导致泛化误差展开中渐近系数的不同。

实验结果

研究问题

• RQ1 对于具有 $H^* > 1$ 个真实分量的泊松混合模型，其实对数坎朗阈值（RLCT）的确切值是什么？
• RQ2 泊松混合模型的 RLCT 如何与单纯形范德蒙德矩阵型奇点的代数结构相关联？
• RQ3 泊松混合模型的渐近贝叶斯泛化误差是否可在一维与高维设置下被精确刻画？
• RQ4 泊松混合模型的泛化误差展开是否与其它奇异模型具有相同形式，其确切系数为何？
• RQ5 先前已知的泊松混合模型 RLCT 上界是否为紧致的？能否通过代数几何技术证明其为精确值？

主要发现

• 在一维情形下，具有 $H^*$ 个真实分量的泊松混合模型的 RLCT 精确为 $\frac{3r + H - 2}{4}$，其中 $r = H^*$。
• 在维度大于 1 的情形下，RLCT 精确为 $\frac{Mr + H - 1}{2}$，其中 $M$ 为观测空间的维度，$H$ 为总分量数。
• 一维情形下的渐近贝叶斯泛化误差为 $\mathbb{E}[G_n] = L(w_0) + \frac{3r + H - 2}{4n} + o(1/n)$。
• 当 $M > 1$ 时，泛化误差为 $\mathbb{E}[G_n] = L(w_0) + \frac{Mr + H - 1}{2n} + o(1/n)$，确认了其对 $M$ 与 $r$ 的依赖关系。
• 泊松混合模型的 RLCT 与单纯形范德蒙德矩阵型奇点的 RLCT 完全一致，建立了深层的代数等价性。
• 通过证明局部下界与已知上界一致，精确推导出 RLCT 的确切值，从而确认了结果的精确性。