[论文解读] Maximum entropy distributions on graphs

Christopher J. Hillar, Andre Wibisono|arXiv (Cornell University)|Jan 15, 2013

Face and Expression Recognition参考文献 66被引用 35

一句话总结

该论文提出了在具有固定期望度序列的加权图上基于最大熵的分布，将边权重建模为由顶点势参数化的独立变量。证明了在大规模网络极限下，从单个图样本中最大似然估计量（MLE）的一致性，将β-模型扩展至加权图，并通过定点算法建立了有限离散情况下的几何收敛性。

ABSTRACT

Inspired by applications to theories of coding and communication in networks of nervous tissue, we study maximum entropy distributions on weighted graphs with a given expected degree sequence. These distributions are characterized by independent edge weights parameterized by a shared vector of vertex potentials. Using the general theory of exponential family distributions, we derive the existence and uniqueness of the maximum likelihood estimator (MLE) of the vertex parameters. We also prove consistency of the MLE from a single sample in the limit of large graphs, extending results of Chatterjee, Diaconis, and Sly in the unweighted case (the "beta-model" in statistics). Interestingly, our proofs require tight estimates on the norms of inverses of symmetric, diagonally dominant positive matrices. Along the way, we derive analogues of the Erdos-Gallai criterion of graphical degree sequences for weighted graphs.

研究动机与目标

• 开发一种基于最大熵的加权图概率模型，结合统计力学与信息论，具有理论基础。
• 刻画具有有界、无界及连续边权的无向加权图上的最大熵分布。
• 证明在图规模增长的极限下，从单个图样本中估计顶点势的MLE具有一致性。
• 将β-模型从无权图推广至加权图，涵盖离散与连续权重情形。
• 提供计算高效的算法（如定点法与基于梯度的方法）以实现这些模型中的参数推断。

提出的方法

• 将边权重建模为由顶点势参数化的独立随机变量，形成指数族分布。
• 推导对数归一化函数，并利用其Hessian矩阵分析MLE的收敛性质。
• 应用大偏差理论与集中不等式，证明在大n极限下MLE的一致性。
• 建立对称、对角占优正定矩阵的逆矩阵范数的紧界，这对收敛性分析至关重要。
• 提出Erdős–Gallai准则的类比，适用于加权图，适应于图的度序列。
• 提出具有几何收敛速率的定点算法，适用于有限离散权重；并提出基于梯度的方法用于无界情形。

实验结果

研究问题

• RQ1 在大规模加权网络中，能否从单个图样本中一致地恢复顶点势的最大似然估计量？
• RQ2 加权图上最大熵分布的数学性质如何推广无权β-模型的性质？
• RQ3 在有限、无限及连续权重图模型中，参数估计的收敛速率与算法效率如何？
• RQ4 代数几何与图极限理论如何揭示约束图上最大熵模型的结构？
• RQ5 可设计何种具有生物学合理性的算法，用于在神经元样系统中计算最大熵参数？

主要发现

• 从单个图样本中估计的顶点势MLE在大图极限下具有一致性，将β-模型推广至加权情形。
• 对于{0,1,…,r−1}中的有限离散权重，证明了具有几何收敛速率的定点算法可高效计算MLE。
• 推导出对数归一化函数的Hessian逆矩阵的紧界，使无界情形下基于梯度方法的收敛速率分析成为可能。
• 为加权图建立了Erdős–Gallai准则的类比，提供了度序列可实现的充要条件。
• 理论支持在稀疏图设置下的高效参数推断，如图像量化与传感器数据重建示例所示。
• 结果表明，图上的最大熵模型可作为神经系统的生物合理、并行且能效高效的计算框架。