[论文解读] Ising Models with Latent Conditional Gaussian Variables

Frank Nussbaum, Joachim Giesen|arXiv (Cornell University)|Jan 28, 2019

Bayesian Modeling and Causal Inference参考文献 22被引用 4

一句话总结

本文提出了一种凸优化框架，用于学习具有潜在条件高斯变量的伊辛模型，通过将相互作用参数分解为稀疏和低秩分量。该方法采用正则化似然方法，同时促进稀疏性和低秩结构，从而在潜在变量引发间接相互作用的高维设置中实现一致估计。

ABSTRACT

Ising models describe the joint probability distribution of a vector of binary feature variables. Typically, not all the variables interact with each other and one is interested in learning the presumably sparse network structure of the interacting variables. However, in the presence of latent variables, the conventional method of learning a sparse model might fail. This is because the latent variables induce indirect interactions of the observed variables. In the case of only a few latent conditional Gaussian variables these spurious interactions contribute an additional low-rank component to the interaction parameters of the observed Ising model. Therefore, we propose to learn a sparse + low-rank decomposition of the parameters of an Ising model using a convex regularized likelihood problem. We show that the same problem can be obtained as the dual of a maximum-entropy problem with a new type of relaxation, where the sample means collectively need to match the expected values only up to a given tolerance. The solution to the convex optimization problem has consistency properties in the high-dimensional setting, where the number of observed binary variables and the number of latent conditional Gaussian variables are allowed to grow with the number of training samples.

研究动机与目标

• 解决标准稀疏伊辛模型学习在潜在条件高斯变量引发观测二值变量之间虚假间接相互作用时的失效问题。
• 将诱导的相互作用建模为观测伊辛模型相互作用矩阵中的低秩分量。
• 提出一个凸正则化似然优化问题，同时在相互作用参数中促进稀疏性和低秩结构。
• 在观测变量和潜在变量数量随样本量增长的高维情形下，建立估计量的一致性。
• 通过最大熵原理与谱范数松弛，提供双重解释，将该方法与信息论原理联系起来。

提出的方法

• 将问题表述为带对偶变量 S（稀疏）和 L1−L2（低秩）的凸正则化对数似然最大化问题，受正半定性约束。
• 对矩匹配约束使用谱范数松弛，将单个容差边界替换为集体谱容差 λ。
• 推导出对偶问题：最大化 ℓ(S + L1 − L2) − c‖S‖₁ − λ·tr(L1 + L2)，其中 L1, L2 ⪰ 0，ℓ 为对数似然函数。
• 将解解释为将相互作用矩阵分解为稀疏分量（直接相互作用）和低秩分量（通过潜在变量产生的间接相互作用）。
• 建立与带松弛谱范数约束的最大熵问题的等价性，为方法提供原则性的统计基础。
• 采用边缘条件高斯模型推导潜在变量与观测伊辛参数之间的关系，表明诱导的相互作用矩阵具有低秩结构。

实验结果

研究问题

• RQ1 凸优化框架能否有效分离由少量潜在条件高斯变量引起的伊辛模型中直接相互作用与间接相互作用？
• RQ2 相互作用矩阵的稀疏 + 低秩分解是否能在高维设置中实现一致估计？
• RQ3 矩匹配约束的谱范数松弛如何与对偶正则化对数似然问题相关联？
• RQ4 低秩分量在潜在变量诱导依赖关系中的统计解释是什么？
• RQ5 该方法能否作为具有新型松弛类型的最大熵问题的对偶推导得出？

主要发现

• 该方法成功地将潜在条件高斯变量引起的间接相互作用建模为观测伊辛模型相互作用矩阵中的低秩分量。
• 所提出的凸正则化似然问题在高维设置中实现了估计一致性，其中观测二值变量和潜在变量的数量均随样本量增长。
• 对偶问题表明，解对应于相互作用参数的稀疏 + 低秩分解，其中低秩部分源于谱范数松弛。
• 谱范数松弛导致一个带有对正半定矩阵迹惩罚的对偶公式，促进解中的低秩结构。
• 该方法基于最大熵原理与新型松弛，将其与信息论原理联系起来，为严格矩匹配提供原则性替代方案。
• 边缘条件高斯模型的推导证实，诱导的相互作用矩阵具有与 RᵀΛ⁻¹R 成比例的低秩结构，从而验证了低秩假设。