[论文解读] Graphical Models for Discrete and Continuous Data

Rui Zhuang, Noah Simon+1 more|arXiv (Cornell University)|Sep 18, 2016

Neural Networks and Applications参考文献 25被引用 8

一句话总结

本文提出了指数迹模型，这是一种统一的马尔可夫随机场框架，将高斯随机场模型推广至处理离散、连续及混合数据类型。通过使用迹内积重参数化模型，并结合基于采样的最大似然估计近似方法，该方法实现了稳定的推断，并在脉冲计数数据中揭示了符合生物学原理的神经连接模式，其在捕捉神经元连接的空间聚类方面优于高斯模型。

ABSTRACT

We introduce a general framework for undirected graphical models. It generalizes Gaussian graphical models to a wide range of continuous, discrete, and combinations of different types of data. The models in the framework, called exponential trace models, are amenable to estimation based on maximum likelihood. We introduce a sampling-based approximation algorithm for computing the maximum likelihood estimator, and we apply this pipeline to learn simultaneous neural activities from spike data.

研究动机与目标

• 开发一种统一的马尔可夫随机场框架，将离散、连续及混合数据类型统一处理，超越现有高斯模型或成对相互作用模型的限制。
• 通过证明所提框架中最大似然估计的凸性与一致性，确保理论严谨性。
• 利用基于采样的近似方法，构建可扩展的计算流程，以实现高维设置下的最大似然估计。
• 在真实神经脉冲计数数据中展示该模型的实用性，其能恢复出与生物学合理性一致的空间局部化连接模式。

提出的方法

• 通过将密度表示为 $ f_{\mathbf{M}}(\mathbf{x}) = \exp\left( -\langle \mathbf{M}, T(\mathbf{x}) \rangle_{\text{tr}} + \xi(\mathbf{x}) - \gamma(\mathbf{M}) \right) $ 来推广高斯随机场模型，其中 $ T(\mathbf{x}) $ 为矩阵值充分统计量，$ \mathbf{M} $ 为自然参数。
• 利用迹内积对称化参数与充分统计量之间的关系，实现对不同类型数据的统一处理。
• 通过基于采样的近似算法执行最大似然估计，以处理非高斯设置下难以计算的归一化常数。
• 该方法允许 $ q \neq p $，从而实现对不同类型数据组合的紧凑混合随机场模型表示。
• 对于神经脉冲数据，模型对脉冲计数应用平方根变换，以近似泊松分布，提升对低计数数据的拟合效果。
• 通过将最大似然估计器截断至30条边，实现图的稀疏化，从而支持可解释的网络恢复。

实验结果

研究问题

• RQ1 是否存在一个单一的图模型框架，能够一致地处理离散、连续及混合数据类型，同时保持理论严谨性？
• RQ2 在所提框架中，最大似然估计是否能在多种数据类型下产生一致且高效的参数估计？
• RQ3 当归一化常数难以计算时，基于采样的近似算法是否能可靠地计算最大似然估计器？
• RQ4 与高斯随机场模型相比，指数迹模型在从脉冲计数数据中恢复具有生物学意义的神经连接模式方面表现如何？

主要发现

• 与高斯随机场模型相比，指数迹模型恢复的神经网络结构更具空间中心化特征，平均边长为169 μm（标准误：24 μm），而高斯模型为252 μm（标准误：36 μm）。
• 该模型识别出一个主要连通分量及一个孤立的神经元单元，后者在空间上相距较远，可能属于独立的功能群组，而这一特征在高斯模型中未被清晰捕捉。
• 采用平方根变换的指数迹模型能紧密逼近泊松分布的脉冲计数，验证了其在低计数神经数据中的适用性。
• 该模型估计的图结构与生物学证据一致，即突触连接倾向于发生在邻近神经元之间，因为在视网膜网络中，神经元共发放概率随距离衰减。
• 尽管归一化常数难以计算，基于采样的近似算法仍成功计算出最大似然估计器，使该方法能够实际应用于真实神经数据。