[论文解读] Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting

Rebecca Morrison, Ricardo Baptista+1 more|arXiv (Cornell University)|Nov 2, 2017

Gaussian Processes and Bayesian Inference参考文献 25被引用 11

一句话总结

本文提出SING，一种新颖算法，通过利用多项式展开的传输映射，在非高斯连续分布中学习稀疏概率图模型。通过利用传输映射的稀疏性来推断条件独立性，SING即使在高斯假设不成立时也能准确恢复真实图结构，且在合成数据和金融数据示例中，其性能优于标准方法如GLASSO。

ABSTRACT

We present an algorithm to identify sparse dependence structure in continuous and non-Gaussian probability distributions, given a corresponding set of data. The conditional independence structure of an arbitrary distribution can be represented as an undirected graph (or Markov random field), but most algorithms for learning this structure are restricted to the discrete or Gaussian cases. Our new approach allows for more realistic and accurate descriptions of the distribution in question, and in turn better estimates of its sparse Markov structure. Sparsity in the graph is of interest as it can accelerate inference, improve sampling methods, and reveal important dependencies between variables. The algorithm relies on exploiting the connection between the sparsity of the graph and the sparsity of transport maps, which deterministically couple one probability measure to another.

研究动机与目标

• 解决现有图模型学习算法局限于高斯分布或离散分布的局限性。
• 开发一种一致的方法，以恢复连续非高斯分布中的稀疏马尔可夫随机场。
• 实现在不假设正态性或参数化拷贝形式的前提下，准确识别条件独立性结构。
• 利用传输映射的稀疏性作为图模型稀疏性的代理，提升估计效率和准确性。
• 在真实世界数据（如卫星云图象和随机波动率模型）上展示该方法的鲁棒性。

提出的方法

• 使用将标准正态分布映射到数据分布的传输映射来表示未知密度π。
• 使用β次多项式展开来参数化传输映射，其中β=1对应线性（高斯）映射，β>1可实现非高斯建模。
• 通过计算log π的混合偏导数的期望绝对值来获得广义精度矩阵Ω，其中Ω_jk = 0表示条件独立。
• 通过阈值化Ω的条目来识别图边，以检测稀疏性，对应于条件独立。
• 通过当前图结构迭代优化传输映射估计，利用反馈机制提升准确性。
• 应用凸优化高效估计传输映射，利用其稀疏性降低计算成本。

实验结果

研究问题

• RQ1 在传统高斯方法失效的非高斯连续分布中，传输映射能否用于恢复稀疏图模型？
• RQ2 传输映射的稀疏性与底层分布的条件独立性结构之间有何关系？
• RQ3 在非高斯图模型中，可靠检测弱边所需的最少样本数是多少？
• RQ4 在传输映射中选择多项式次数β如何影响图恢复的准确性？
• RQ5 当应用于具有复杂依赖结构的非高斯数据时，SING能否优于标准的基于高斯的方法（如GLASSO）？

主要发现

• 在10个变量的合成非高斯示例中，SING在两次迭代内成功恢复了正确的图结构，修正了错误边，而线性映射（β=1）则完全失败。
• 当n=15,000时，使用β=2的SING成功恢复了真实随机波动率模型的图结构，正确识别了状态变量与超参数之间的边，而β=1和GLASSO均生成了包含虚假或缺失边的错误图。
• 广义精度矩阵中的强边可仅用n=2,000个样本可靠恢复，表明该方法在高权重依赖关系中具有高效性。
• 通过SING计算的广义精度矩阵Ω准确反映了真实的条件独立性结构，条目归一化至最大值1后，强边与弱边之间有明显区分。
• GLASSO假设为高斯分布，导致在随机波动率模型中高估状态变量之间的边，低估与超参数的连接，凸显了模型误设的风险。
• 通过当前图结构迭代优化传输映射，可收敛至正确稀疏图，证实了该算法的一致性与鲁棒性。