[论文解读] Convex Relaxations for Learning Bounded Treewidth Decomposable Graphs

Krishna Kumar, Francis Bach|arXiv (Cornell University)|Dec 11, 2012

Machine Learning and Algorithms参考文献 33被引用 14

一句话总结

本文提出了一种新颖的凸松弛方法，通过森林和超森林多面体的组合优化，实现有界树宽可分解图模型的多项式时间最大似然结构学习。采用带有贪心拟阵内循环的超梯度方法，该方法在合成数据和真实数据集（如 TRAFFIC、ALARM）上的对数似然性能优于当前最先进方法，尤其在强相关性条件下表现更优。

ABSTRACT

We consider the problem of learning the structure of undirected graphical models with bounded treewidth, within the maximum likelihood framework. This is an NP-hard problem and most approaches consider local search techniques. In this paper, we pose it as a combinatorial optimization problem, which is then relaxed to a convex optimization problem that involves searching over the forest and hyperforest polytopes with special structures, independently. A supergradient method is used to solve the dual problem, with a run-time complexity of $O(k^3 n^{k+2} \log n)$ for each iteration, where $n$ is the number of variables and $k$ is a bound on the treewidth. We compare our approach to state-of-the-art methods on synthetic datasets and classical benchmarks, showing the gains of the novel convex approach.

研究动机与目标

• 解决在最大似然估计下学习有界树宽的马尔可夫随机场的 NP-难问题。
• 通过将问题表述为凸松弛，克服现有方法在局部搜索和非凸优化方面的局限性。
• 实现具有理论保证的高效、多项式时间结构学习，并提升实际性能。
• 通过允许树宽更高的可 tractable 近似，扩展变分推理的适用范围。

提出的方法

• 将有界树宽结构学习问题表述为在可分解图上的组合优化任务。
• 将问题松弛为涉及图拟阵和超图拟阵多面体的凸优化框架。
• 使用带有贪心算法作为两个拟阵内循环的超梯度上升法求解对偶问题。
• 采用一种舍入方案，将分数解转换为原始问题的有效整数解。
• 每次迭代的时间复杂度为 $O(k^3 n^{k+2} \text{log} n)$，其中 $n$ 为变量数，$k$ 为树宽上界。
• 在合成数据和真实世界基准（TRAFFIC、ALARM）上应用该方法进行实证评估。

实验结果

研究问题

• RQ1 能否为学习有界树宽可分解图模型构造一种凸松弛方法，以实现多项式时间优化？
• RQ2 与非凸局部搜索和启发式方法相比，所提出的凸方法在对数似然和结构准确性方面的性能如何？
• RQ3 相关性强度（d）对使用所提出的松弛和舍入方案学习图结构质量的影响是什么？
• RQ4 在何种条件下松弛能产生紧致解，其特性如何刻画？
• RQ5 该方法能否在保持优于现有方法性能的同时，扩展到真实世界数据集？

主要发现

• 所提出的凸松弛在 ALARM 和 TRAFFIC 数据集上（$k=3$）的对数似然性能优于当前最先进方法，包括 Chow-Liu 树和 PAC-JT 算法。
• 在强相关性（$d=32$）的链式联结树设置下，该方法的 $\Delta$ Primal r 为 57.3，显著优于贪心基线的 58.3。
• 在 $d=32$ 的星型联结树设置下，该方法的 $\Delta$ Primal r 为 58.3，与贪心基线的 58.3 相当，表明在高相关性下接近最优性能。
• 该松弛在一般情况下并非紧致，但当相关性较强时（如 $d \geq 16$），舍入方案能恢复最优或近似最优解。
• 在 TRAFFIC 和 ALARM 数据集上，该算法的对数似然均高于现有方法，表明其近似质量更优。
• 每次迭代的时间复杂度为 $O(k^3 n^{k+2} \log n)$，使得该方法在中等规模的 $n$ 和 $k$ 下具备可扩展性。