[论文解读] A Sequence of Relaxations Constraining Hidden Variable Models

Greg Ver Steeg, Aram Galstyan|arXiv (Cornell University)|Jun 8, 2011

Advanced Optimization Algorithms Research参考文献 18被引用 10

一句话总结

本文提出了一种基于平方和（sum-of-squares）与半定规划的凸松弛序列，用于生成潜变量模型中越来越紧密的线性不等式约束——即‘隐变量检验’。该方法能够排除潜变量同质性（latent homophily）作为社会网络中相关性唯一解释的可能性，证明真实数据中观察到的影响效应超出了仅由同质性预测的界限。

ABSTRACT

Many widely studied graphical models with latent variables lead to nontrivial constraints on the distribution of the observed variables. Inspired by the Bell inequalities in quantum mechanics, we refer to any linear inequality whose violation rules out some latent variable model as a "hidden variable test" for that model. Our main contribution is to introduce a sequence of relaxations which provides progressively tighter hidden variable tests. We demonstrate applicability to mixtures of sequences of i.i.d. variables, Bell inequalities, and homophily models in social networks. For the last, we demonstrate that our method provides a test that is able to rule out latent homophily as the sole explanation for correlations on a real social network that are known to be due to influence.

研究动机与目标

• 开发一种系统化方法，用于生成潜变量模型中可观测分布的越来越紧密的约束。
• 提供一个通用框架，用于构建‘隐变量检验’——即排除特定潜结构的线性不等式，其适用范围超越现有方法。
• 解决在社交网络中区分影响与潜变量同质性的问题，因为两者均可产生相似的可观测相关性。
• 将贝尔不等式的概念扩展至非量子系统，如独立同分布混合模型与社交网络模型。
• 通过利用在有利情况下收敛至精确约束的凸松弛，提供一种计算上可行的方法来测试不可识别的潜变量模型。

提出的方法

• 该方法使用平方和（SOS）优化构建一系列凸松弛，以近似与给定潜变量模型一致的可观测分布集合。
• 将可观测概率建模为未知条件分布的多项式，从而利用半定规划计算越来越紧密的界。
• 该方法利用代数几何工具推导出一大类模型的约束，包括具有潜根节点的图模型与独立同分布混合模型。
• 对于可观测分布空间为凸的模型（如单个潜根节点模型），松弛序列可精确收敛至真实约束集合。
• 该框架允许构建自定义可观测量（如基于相关性的统计量），其在潜变量同质性下期望值有界，从而支持统计检验。
• 该方法通过推导在同质性下影响强度的界，并与真实社交网络数据进行比较，应用于真实社交网络数据。

实验结果

研究问题

• RQ1 我们能否生成一系列越来越紧密的约束，以排除特定潜变量模型（如社交网络中的潜变量同质性）？
• RQ2 潜变量模型（如潜变量同质性）在多大程度上能解释社交网络中的可观测相关性？在何种情况下可被排除？
• RQ3 通过凸松弛推导出的界与类量子系统（如贝尔不等式）中的已知界相比如何？
• RQ4 需要多大程度的影响才能排除潜变量同质性作为可观测相关性唯一解释的可能性？
• RQ5 该方法是否可推广至具有有限或离散潜结构之外的一般潜变量模型？

主要发现

• 该方法成功推导出在潜变量同质性下可观测相关性的界，显示当 T=6 个时间步时，同质性下测试可观测量的最大期望值 ≤0.302。
• 在真实社交网络中，观察到的相关性超过同质性边界阈值，从而可排除潜变量同质性作为数据唯一解释。
• 对于影响概率为 λ 的模型，可观测量 𝒪 的期望值 ⟨𝒪⟩_inf = λ（在影响下），而在潜变量同质性下，⟨𝒪⟩_SLH ≤ 0.302（当 T=6 时），提供了明确的可检验阈值。
• 当可观测分布空间为凸时（如单个潜根节点模型），松弛序列可精确收敛。
• 该方法将贝尔不等式类推理推广至非量子系统，为社交与概率模型中的潜结构提供了新检验手段。
• 当 T<4 时，同质性边界为平凡值（≤1），表明使用该可观测量无法通过较短序列排除同质性，凸显了使用更长时序数据的必要性。