[论文解读] A partial orthogonalization method for simulating covariance and concentration graph matrices

Irene Córdoba, Gherardo Varando+2 more|arXiv (Cornell University)|Jul 9, 2018

Bayesian Modeling and Causal Inference参考文献 21被引用 4

一句话总结

本文提出了一种部分正交化方法，用于生成保持图形模型中强关联强度的对称正定（SPD）协方差和浓度矩阵，克服了对角占优矩阵中常见弱非对角线元素的问题。通过在图中缺失边处强制实施行间正交性，该方法确保了在不同稀疏度水平下关联强度的稳定性，显著提升了合成与真实世界验证中学习算法的结构恢复能力。

ABSTRACT

Structure learning methods for covariance and concentration graphs are often validated on synthetic models, usually obtained by randomly generating: (i) an undirected graph, and (ii) a compatible symmetric positive definite (SPD) matrix. In order to ensure positive definiteness in (ii), a dominant diagonal is usually imposed. However, the link strengths in the resulting graphical model, determined by off-diagonal entries in the SPD matrix, are in many scenarios extremely weak. Recovering the structure of the undirected graph thus becomes a challenge, and algorithm validation is notably affected. In this paper, we propose an alternative method which overcomes such problem yet yielding a compatible SPD matrix. We generate a partially row-wise-orthogonal matrix factor, where pairwise orthogonal rows correspond to missing edges in the undirected graph. In numerical experiments ranging from moderately dense to sparse scenarios, we obtain that, as the dimension increases, the link strength we simulate is stable with respect to the structure sparsity. Importantly, we show in a real validation setting how structure recovery is greatly improved for all learning algorithms when using our proposed method, thereby producing a more realistic comparison framework.

研究动机与目标

• 解决在结构学习算法验证中对角占优矩阵的局限性，即随着维度增加，非对角线元素变得过弱的问题。
• 开发一种生成与无向图结构兼容的对称正定矩阵的方法，同时保持强而稳定的关联强度。
• 提升用于评估协方差和浓度图学习算法的合成基准的现实性和可靠性。
• 证明当基于对角占优矩阵时，算法性能排名和结论可能具有误导性。
• 提供一种计算高效、可复现的替代对角占优的方法，用于图形模型验证中生成SPD矩阵。

提出的方法

• 该方法构建一个矩阵因子，使无向图中非相邻节点（缺失边）对应的行之间成对正交。
• 采用改进的Gram-Schmidt过程强制实现部分正交性，同时保留所需的图结构。
• 通过外积将所得矩阵因子转换为对称正定矩阵，确保与图结构的兼容性。
• 该方法从设计上避免了对角占优，从而防止非对角线元素被抑制。
• 该方法在R语言中实现，并作为gmat包发布，支持部分正交化与对角占优的对比。
• 该实现支持在不同稀疏度水平和维度下高效生成矩阵。

实验结果

研究问题

• RQ1 与对角占优矩阵相比，部分正交化方法是否能生成具有更强且更稳定关联强度的协方差和浓度矩阵？
• RQ2 当使用所提出方法与对角占优生成的矩阵进行验证时，结构学习算法的性能如何变化？
• RQ3 所提出的方法是否能改善中等密度和稀疏图形模型中的结构恢复？
• RQ4 矩阵生成方法对学习算法的真正发现率和真正例率有何影响？
• RQ5 所提出的方法是否能在真实世界验证设置中产生更可靠、更现实的性能比较？

主要发现

• 当使用对角占优矩阵时，所有结构学习算法在密集图（p=100, d=0.25）上的真正例率均接近零，表明恢复效果极差。
• 采用所提出的部分正交化方法后，多个算法的真正例率达到约0.45，显著提升了结构恢复能力。
• 所有学习算法在使用所提方法生成的矩阵进行验证时，真正发现率均高于对角占优方法。
• 偏最小二乘回归在对角占优设定下曾被认为在密集场景中无效，但使用新方法后表现出合理性能，挑战了先前结论。
• 该方法在维度增加时仍能保持与图稀疏度一致的稳定关联强度，而对角占优方法则会抑制非对角线元素。
• 真实世界验证示例表明，算法排名和性能评估结果可能因矩阵生成方法的不同而发生根本性改变。