[论文解读] Learning Ising Models with Independent Failures

Surbhi Goel, Daniel M. Kane+1 more|arXiv (Cornell University)|Feb 13, 2019

Statistical Methods and Inference参考文献 23被引用 5

一句话总结

本文提出了首个在独立失效（即样本中每个条目以未知概率 $ p $ 缺失或翻转）条件下学习伊辛模型结构的高效算法。通过构建交互筛选目标（Interaction Screening Objective）的无偏梯度估计器，并应用随机乘法梯度下降，该方法实现了接近最优的样本复杂度和运行时间复杂度，即使在 $ p $ 未知的情况下，其性能仍与干净数据下的最先进方法相当。

ABSTRACT

We give the first efficient algorithm for learning the structure of an Ising model that tolerates independent failures; that is, each entry of the observed sample is missing with some unknown probability p. Our algorithm matches the essentially optimal runtime and sample complexity bounds of recent work for learning Ising models due to Klivans and Meka (2017). We devise a novel unbiased estimator for the gradient of the Interaction Screening Objective (ISO) due to Vuffray et al. (2016) and apply a stochastic multiplicative gradient descent algorithm to minimize this objective. Solutions to this minimization recover the neighborhood information of the underlying Ising model on a node by node basis.

研究动机与目标

• 解决样本因独立失效（条目缺失或翻转）而受损时，学习伊辛模型结构的挑战。
• 通过处理未知失效概率 $ p $，克服先前工作的局限性，这在传感器网络等现实应用中至关重要。
• 在数据受损的情况下，实现与干净数据算法相当的近似最优样本复杂度与运行时间复杂度。
• 将方法扩展至处理块失效及其他类似噪声模型。
• 为在已知与未知失效率下实现结构恢复提供理论保证。

提出的方法

• 将结构学习表述为在 $ l_1 $-范数约束球上最小化交互筛选目标（ISO），以逐节点恢复邻域信息。
• 将优化问题转换至单纯形上，以启用随机乘法梯度下降（SMG），其天然支持 $ l_1 $-约束。
• 通过利用目标函数的可分解性与失效的独立性，构建修改后ISO的无偏、有界梯度估计器。
• 使用SMG与无偏梯度估计器最小化ISO，确保以高概率收敛。
• 利用 $ O(\text{poly}(\text{log} n)) $ 份新样本估计未知失效概率 $ p $，误差界通过切尔诺夫不等式与二项分布接近性分析推导。
• 通过总变差距离证明真实 $ p $ 与估计 $ \widehat{p} $ 的数据分布之间的分布接近性，确保SMG算法的鲁棒性。

实验结果

研究问题

• RQ1 当每个样本条目以未知概率 $ p $ 独立缺失或翻转时，我们能否在保持近似最优样本与运行时间复杂度的前提下，学习伊辛模型的结构？
• RQ2 在独立失效条件下，能否为ISO构造无偏梯度估计器，从而实现高效优化？
• RQ3 如何在不降低样本或运行时间复杂度的前提下处理未知失效概率 $ p $？
• RQ4 所提出的方法能否扩展至其他噪声模型（如块失效，即部分条目同时受损）？
• RQ5 使用SMG与无偏梯度估计器是否能保持精确结构恢复所需的收敛保证？

主要发现

• 该算法在 $ \widetilde{O}(n^2) $ 时间内恢复完整的伊辛模型结构，使用 $ O(\lambda^4 \beta^{-4} \log n \cdot \exp(C\lambda)) $ 个样本，其样本与运行时间复杂度与克利万斯和梅卡（2017）在干净数据下的结果一致。
• 当 $ p $ 已知时，样本复杂度依赖于 $ \exp(C\lambda) $，其中 $ C \leq 10 $ 当 $ p < 1/2 $ 时成立，且对一般 $ p $ 按 $ 1/(1-p) $ 的方式增长。
• 当 $ p $ 未知时，仅需使用 $ O(\log n) $ 份新样本估计 $ p $，即可维持相同保证，且失败概率仅增加 $ O(\delta) $ 因子。
• 真实 $ p $ 与估计 $ \widehat{p} $ 的样本分布之间的总变差距离为 $ O(\delta) $，确保SMG算法的鲁棒性。
• 无偏梯度估计器通过利用ISO的指数-线性结构与失效的独立性构建，该技术本身可能具有独立研究价值。
• 该方法可推广至块失效模型（即固定条目子集同时受损），展示了其在现实世界数据损坏模式下的广泛适用性。