[论文解读] An Efficient Pseudo-likelihood Method for Sparse Binary Pairwise Markov Network Estimation

Sinong Geng, Zhaobin Kuang+1 more|arXiv (Cornell University)|Feb 27, 2017

Face and Expression Recognition参考文献 13被引用 7

一句话总结

该论文提出PLG，一种通过将$L_1$-正则化伪似然问题重新表述为稀疏多重逻辑回归，从而高效学习稀疏二值成对马尔可夫网络的方法。利用glmnet框架中的坐标下降法与强筛选规则，PLG在现有实现基础上实现了显著提速——尤其在不平衡、高维数据上——且未牺牲准确性。

ABSTRACT

The pseudo-likelihood method is one of the most popular algorithms for learning sparse binary pairwise Markov networks. In this paper, we formulate the $L_1$ regularized pseudo-likelihood problem as a sparse multiple logistic regression problem. In this way, many insights and optimization procedures for sparse logistic regression can be applied to the learning of discrete Markov networks. Specifically, we use the coordinate descent algorithm for generalized linear models with convex penalties, combined with strong screening rules, to solve the pseudo-likelihood problem with $L_1$ regularization. Therefore a substantial speedup without losing any accuracy can be achieved. Furthermore, this method is more stable than the node-wise logistic regression approach on unbalanced high-dimensional data when penalized by small regularization parameters. Thorough numerical experiments on simulated data and real world data demonstrate the advantages of the proposed method.

研究动机与目标

• 解决现有伪似然（PL）实现方法在稀疏二值成对马尔可夫网络（BPMNs）中，特别是在高维与不平衡数据设置下的效率低下问题。
• 利用$L_1$-正则化伪似然与稀疏逻辑回归之间的结构等价性，实现更快的优化。
• 在小正则化参数和不平衡数据条件下，提升PL估计的数值稳定性，此时节点级逻辑回归（NLR）会失效。
• 开发一种可扩展、高效且稳定的BPMN学习优化框架，使其在真实世界与模拟场景中均优于PL与NLR。

提出的方法

• 将BPMNs的$L_1$-正则化伪似然目标重新表述为稀疏多重逻辑回归问题。
• 应用带凸惩罚项（Friedman等，2010）的坐标下降法，高效求解所得优化问题。
• 集成强筛选规则（Tibshirani等，2012），提前剔除无关变量，加速收敛。
• 使用glmnet包实现该方法，从而可访问广义线性模型的最先进优化技术。
• 通过施加与马尔可夫网络对称参数化一致的约束，确保估计网络结构的对称性。
• 通过交叉验证进行模型选择，以在实践中确定最优正则化参数（$\lambda$）。

实验结果

研究问题

• RQ1 能否通过利用现有的稀疏逻辑回归优化技术，高效求解BPMNs的$L_1$-正则化伪似然问题？
• RQ2 在高维与不平衡数据上，所提出的PLG方法与标准BMN实现及节点级逻辑回归（NLR）相比，在速度与准确性方面表现如何？
• RQ3 当正则化参数较小时且数据高度不平衡时，PLG方法是否仍能保持稳定与高效？
• RQ4 将伪似然重新表述为逻辑回归，是否能在真实应用场景（如参议员投票模式分析）中带来实际性能提升？
• RQ5 强筛选规则在BPMN估计背景下，对收敛速度与解的稀疏性有何影响？

主要发现

• PLG相较于标准BMN实现的伪似然方法实现了显著提速——最高可达数个数量级，尤其在高维数据上表现突出。
• 在处理不平衡数据与小正则化参数（$\lambda$）时，PLG保持高准确率且远快于NLR，而NLR在此类条件下会变得不稳定且缓慢。
• 在$p=10$且样本不平衡（$\theta_{11}=5$）的模拟数据中，PLG在$\lambda=0.01$时仍能保持快速计算，而NLR性能急剧下降。
• 在真实世界参议员投票数据（$n=279$，$p=100$）中，PLG与NLR的计算时间相近，证实了PLG在实际数据集上的高效性。
• PLG生成的BPMN正确识别出基于政党的聚类（民主党和共和党），检测出像林肯·查菲与本·内尔森这样的独立派参议员，并揭示了基于州的投票模式。
• 该方法具有鲁棒性与可扩展性，在真实数据上PLG与NLR的计算时间几乎相同，而PLG避免了NLR在极端条件下的不稳定性。