[论文解读] Hidden Integrality of SDP Relaxation for Sub-Gaussian Mixture Models

Yingjie Fei, Yudong Chen|arXiv (Cornell University)|Mar 17, 2018

Bayesian Methods and Mixture Models参考文献 28被引用 8

一句话总结

本文揭示了子高斯混合模型的半定规划（SDP）松弛中隐藏的整数性性质，表明尽管最优解非整数，估计误差仍受理想整数规划误差的约束。误差随信噪比呈指数衰减，使得在随机球模型中，即使中心间距小至$\sqrt{1/d}$，也能实现非平凡甚至精确恢复。

ABSTRACT

We consider the problem of estimating the discrete clustering structures under Sub-Gaussian Mixture Models. Our main results establish a hidden integrality property of a semidefinite programming (SDP) relaxation for this problem: while the optimal solutions to the SDP are not integer-valued in general, their estimation errors can be upper bounded in terms of the error of an idealized integer program. The error of the integer program, and hence that of the SDP, are further shown to decay exponentially in the signal-to-noise ratio. To the best of our knowledge, this is the first exponentially decaying error bound for convex relaxations of mixture models, and our results reveal the global-to-local mechanism that drives the performance of the SDP relaxation. A corollary of our results shows that in certain regimes the SDP solutions are in fact integral and exact, improving on existing exact recovery results for convex relaxations. More generally, our results establish sufficient conditions for the SDP to correctly recover the cluster memberships of $(1-\delta)$ fraction of the points for any $\delta\in(0,1)$. As a special case, we show that under the $d$-dimensional Stochastic Ball Model, SDP achieves non-trivial (sometimes exact) recovery when the center separation is as small as $\sqrt{1/d}$, which complements previous exact recovery results that require constant separation.

研究动机与目标

• 理解在子高斯混合模型下凸松弛的性能。
• 解释为何SDP松弛在解非整数的情况下仍能实现强聚类精度。
• 建立SDP实现精确或近似精确聚类成员恢复的条件。
• 刻画驱动SDP在高维混合模型中成功的关键全局到局部机制。

提出的方法

• 将聚类问题表述为非凸整数规划，并松弛为半定规划（SDP）。
• 引入一种隐藏整数性性质，将SDP解与理想整数规划的误差联系起来。
• 利用集中不等式，分析SDP解的估计误差与整数规划误差的关系。
• 利用高维概率工具，推导信噪比下误差的指数衰减。
• 将该框架应用于$d$维随机球模型，建立恢复阈值。
• 通过谱分析和扰动分析，证明在某些条件下SDP解为整数。

实验结果

研究问题

• RQ1 当SDP松弛的解非整数值时，其估计误差如何被上界约束？
• RQ2 何种机制解释了SDP在子高斯混合聚类中虽输出非整数解却表现出强经验性能？
• RQ3 在何种条件下SDP松弛能实现聚类成员的精确恢复？
• RQ4 在随机球模型中，非平凡恢复的最小中心间距是多少？
• RQ5 SDP松弛能否在信噪比下实现误差的指数衰减？

主要发现

• SDP松弛的估计误差受理想整数规划误差的上界约束，揭示了隐藏的整数性结构。
• 整数规划与SDP的误差均随信噪比增加呈指数衰减。
• 在某些参数区域，SDP解恰好为整数，从而实现超越先前凸松弛结果的精确恢复。
• 在$d$维随机球模型中，当中心间距小至$\sqrt{1/d}$时，SDP仍能实现非平凡恢复。
• 在足够高的信噪比条件下，SDP可对任意$\delta \in (0,1)$实现$1 - \delta$比例点的精确恢复。
• 研究结果建立了一个全局到局部机制，解释了SDP在混合模型聚类中的鲁棒性与高精度。