[论文解读] Algebraic Geometry of Bayesian Networks

Luis David García Puente, Michael Stillman+1 more|ArXiv.org|Jan 22, 2003

Polynomial and algebraic computation参考文献 8被引用 9

一句话总结

本文通过将条件独立性陈述建模为多项式理想，利用格罗布纳基和初等分解，为贝叶斯网络建立了一个代数几何框架，对最多五个变量的网络进行分类。研究发现隐藏变量对应于塞雷布雷嵌入的高阶割线簇，并为朴素贝叶斯模型提供了定义理想的显式生成元，包括对小规模二元和三元网络的完整分类。

ABSTRACT

We study the algebraic varieties defined by the conditional independence statements of Bayesian Networks. A complete algebraic classification is given for Bayesian Networks on at most five random variables. Hidden variables are related to the geometry of higher secant varieties.

研究动机与目标

• 通过从条件独立性陈述导出的多项式理想，为贝叶斯网络发展一个代数几何框架。
• 通过关联多项式理想的初等分解，对最多五个离散随机变量的贝叶斯网络进行分类。
• 通过塞雷布雷簇的高阶割线簇几何，理解隐藏变量在贝叶斯网络中的作用。
• 为朴素贝叶斯模型的定义理想提供显式生成元，特别是针对小维度和低秩张量分解的情形。
• 通过分析递归分解映射的核，解决代数统计中的开放问题，包括文献[23]中的问题8.11和8.12。

提出的方法

• 在概率单纯形上的多项式环中，将条件独立性陈述表示为齐次二次理想。
• 使用格罗布纳基和初等分解分析与贝叶斯网络 $ G $ 关联的多项式理想 $ I_{\text{local}(G)} $ 和 $ I_{\text{global}(G)} $ 的代数结构。
• 将贝叶斯网络的递归分解建模为环同态，并将其核识别为素理想，即全局理想的一个约化初等分量。
• 将隐藏变量模型与塞雷布雷簇的高阶割线簇联系起来，其中朴素贝叶斯模型对应于射影空间乘积的第二割线簇。
• 使用Macaulay2和Singular计算大型理想（例如，最多32个变量和大量二次型的301个理想）的初等分解。
• 通过张量展平和行列式关系，推导割线簇素理想的显式生成元，包括特定情况下的三次、四次及九次多项式。

实验结果

研究问题

• RQ1 如何系统地通过多项式理想将贝叶斯网络中的条件独立性陈述表示为代数簇？
• RQ2 定义贝叶斯网络中局部和全局马尔可夫性质的理想的精确代数结构是什么？它们与递归分解有何关系？
• RQ3 为何在复数域上递归分解与全局马尔可夫性质的等价性会失效？如何通过初等分解诊断此问题？
• RQ4 具有 $ r $ 个类的朴素贝叶斯模型的定义理想是什么？其生成元如何依赖于特征数量及其维度？
• RQ5 塞雷布雷簇的第 $ r $ 个割线簇的维数何时低于预期维数？其几何与代数原因是什么？

主要发现

• 本文通过初等分解，对四个任意离散随机变量的所有贝叶斯网络以及五个二元随机变量的所有贝叶斯网络，提供了完整的代数分类。
• 对于 $ r=2 $ 类的朴素贝叶斯模型，其定义理想由所有 $ n $ 维表的二维展平矩阵的 $ 3 \times 3 $ 子式生成，证实了猜想21。
• 当 $ r=3 $ 且 $ n=3 $ 时，特征为三元的，理想由形如 $ A \cdot \text{adj}(B) \cdot C - C \cdot \text{adj}(B) \cdot A $ 的四次多项式生成，其中 $ A, B, C $ 是三阶三阶张量的切片。
• 当 $ r=4 $ 时，理想是主理想，由一个含 9,216 项的九次多项式生成，表达式为 $ \det(B)^2 \cdot \det(A B^{-1} C - C B^{-1} A) $，该式源自斯特拉斯滕定理。
• 当 $ r \geq 5 $ 时，割线簇的理想为零，表明该簇填满环境空间，这与一般三阶三阶三阶张量的秩至多为 4 一致。
• 对于 $ X = \mathbb{P}^1 \times \cdots \times \mathbb{P}^1 $，当 $ n=4 $，$ d_i=2 $，$ r=3 $ 时，割线簇 $ \text{Sec}^r(X) $ 的维数为 13，低于预期的 14，展示了维数下降的著名情形。