[论文解读] Hardness of parameter estimation in graphical models

Guy Bresler, David Gamarnik+1 more|arXiv (Cornell University)|Sep 12, 2014

Machine Learning and Algorithms参考文献 17被引用 5

一句话总结

本文证明，在成对二值图模型中，特别是硬核模型中，从平均参数学习自然参数在计算上是不可行的，即使近似求解也是如此。作者通过多项式时间归约证明，近似计算反向映射 μ ↦ θ 是 NP-难问题，其核心在于发现边际多面体边界具有新颖的排斥性质，从而可在无需显式了解多面体结构的前提下，实现无约束的投影梯度优化。

ABSTRACT

We consider the problem of learning the canonical parameters specifying an undirected graphical model (Markov random field) from the mean parameters. For graphical models representing a minimal exponential family, the canonical parameters are uniquely determined by the mean parameters, so the problem is feasible in principle. The goal of this paper is to investigate the computational feasibility of this statistical task. Our main result shows that parameter estimation is in general intractable: no algorithm can learn the canonical parameters of a generic pair-wise binary graphical model from the mean parameters in time bounded by a polynomial in the number of variables (unless RP = NP). Indeed, such a result has been believed to be true (see the monograph by Wainwright and Jordan (2008)) but no proof was known. Our proof gives a polynomial time reduction from approximating the partition function of the hard-core model, known to be hard, to learning approximate parameters. Our reduction entails showing that the marginal polytope boundary has an inherent repulsive property, which validates an optimization procedure over the polytope that does not use any knowledge of its structure (as required by the ellipsoid method and others).

研究动机与目标

• 研究马尔可夫随机场中参数估计的计算可行性，特别是从平均参数到自然参数的反向映射问题。
• 确定尽管由于参数唯一性而具有统计可行性，最大似然参数估计是否仍为可计算问题。
• 解决长期悬而未决的开放问题：硬核模型中的参数估计是否如广泛推测的那样计算困难，但此前尚未被证明。
• 提出一种新颖的优化框架，通过利用边际多面体的内在几何特性，避免显式依赖多面体结构知识。

提出的方法

• 作者采用从硬核模型的划分函数近似问题（已知为 NP-难）到从平均参数近似自然参数问题的多项式时间归约。
• 他们利用对数划分函数的变分表征，将其表示为在边际多面体上的约束凸优化问题，其中目标函数的梯度对应于反向映射 θ = μ ↦ θ。
• 应用投影梯度法最小化目标函数，其中投影算子确保迭代点始终位于可行集中，而无需显式了解多面体的结构。
• 关键技术突破在于证明边际多面体边界具有内在排斥性质，即使未显式施加约束，也能防止迭代点离开可行区域。
• 通过引理界定了自然参数 θ_i 的大小，基于平均参数值 μ_i 和 ε-邻域，确保梯度的稳定性和收敛性。
• 证明的关键在于表明，处于临界状态的约束（接近违反）不会使迭代点更接近边界，从而在迭代过程中保持可行性。

实验结果

研究问题

• RQ1 在成对二值图模型中，尽管给定平均参数时自然参数有唯一解，但参数估计在计算上是否可行？
• RQ2 反向映射 μ ↦ θ 是否能在多项式时间内近似，还是其本身为 NP-难？
• RQ3 边际多面体的几何结构是否允许在不显式了解其面的情况下实现无约束优化？
• RQ4 能否将划分函数近似问题的困难性归约为参数估计问题的困难性，从而建立两者之间的计算等价性？
• RQ5 边际多面体边界是否存在某种结构特性，使得基于梯度的优化无需显式投影？

主要发现

• 在硬核模型中，参数估计在任何常数因子范围内近似都是 NP-难的，即使对于多项式时间近似方案亦然。
• 从划分函数近似到参数估计的归约为多项式时间，确立了两个问题之间的计算等价性。
• 边际多面体边界具有排斥性质，可防止投影梯度下降过程中迭代点趋近边界，从而实现无约束优化。
• 自然参数 θ_i 的大小受 μ_i 到多面体边界距离的约束：若 μ_i + ε 可行，则 θ_i ≤ p/ε；若 μ_i ≥ qε，则 θ_i ≥ -p/(qε)。
• 由于边界排斥效应，投影梯度法在无需显式了解多面体结构的情况下仍保持可行且收敛。
• 该结果解决了图模型领域长期悬而未决的开放问题，确认即使统计模型是正确指定的，参数估计在计算上仍是不可行的。