[论文解读] Inference in Sparse Graphs with Pairwise Measurements and Side Information

Dylan J. Foster, Daniel Reichman+1 more|arXiv (Cornell University)|Mar 8, 2017

Topological and Geometric Data Analysis被引用 3

一句话总结

本文提出了一种新颖的算法，用于在稀疏图中利用噪声成对边测量和受损顶点标签的附加信息，恢复二值顶点标记。通过利用树分解和统计学习理论，该方法在最小样本复杂度下实现了最优汉明误差界，显著优于以往在网格、超网格和小世界网络等图结构上的工作。

ABSTRACT

We consider the statistical problem of recovering a hidden "ground truth" binary labeling for the vertices of a graph up to low Hamming error from noisy edge and vertex measurements. We present new algorithms and a sharp finite-sample analysis for this problem on trees and sparse graphs with poor expansion properties such as hypergrids and ring lattices. Our method generalizes and improves over that of Globerson et al. (2015), who introduced the problem for two-dimensional grid lattices. For trees we provide a simple, efficient, algorithm that infers the ground truth with optimal Hamming error has optimal sample complexity and implies recovery results for all connected graphs. Here, the presence of side information is critical to obtain a non-trivial recovery rate. We then show how to adapt this algorithm to tree decompositions of edge-subgraphs of certain graph families such as lattices, resulting in optimal recovery error rates that can be obtained efficiently The thrust of our analysis is to 1) use the tree decomposition along with edge measurements to produce a small class of viable vertex labelings and 2) apply an analysis influenced by statistical learning theory to show that we can infer the ground truth from this class using vertex measurements. We show the power of our method in several examples including hypergrids, ring lattices, and the Newman-Watts model for small world graphs. For two-dimensional grids, our results improve over Globerson et al. (2015) by obtaining optimal recovery in the constant-height regime.

研究动机与目标

• 解决在存在噪声边测量和顶点测量的稀疏图中恢复真实二值顶点标记的挑战。
• 通过将Globerson等人（2015）的框架扩展到扩张性差的通用稀疏图（如超网格和环形晶格）来改进其工作。
• 证明在边测量失效的稀疏图环境中，附加信息对于实现非平凡恢复至关重要。
• 在包括树和小世界网络在内的多种图族中，实现最优样本复杂度和汉明误差率。
• 提供有限样本分析，建立在现实噪声模型下的精确恢复边界。

提出的方法

• 使用树分解将复杂图分解为可管理的子树，从而在边子图上实现高效推理。
• 应用动态规划在每个子树内计算最优标记，最小化被违反的边约束数量。
• 通过统计学习框架利用顶点测量（附加信息）来优化标记估计并降低汉明误差。
• 在度数较高时，通过多数投票估计器将边测量与顶点测量相结合，确保低误差率。
• 为树状图结构引入递归动态规划公式，以在约束预算下计算最优标记。
• 通过利用最小度条件并应用浓度不等式来建立误差边界，将算法推广至一般图。

实验结果

研究问题

• RQ1 能否仅通过成对边测量和附加信息，在扩张性差的稀疏图中实现最优汉明误差恢复？
• RQ2 在超网格和环形晶格等图中，附加信息的引入如何影响样本复杂度和恢复误差？
• RQ3 在因稀疏性导致精确恢复不可能的图中，部分恢复的理论极限是什么？
• RQ4 树分解技术能否推广至非树图，以实现最优恢复速率？
• RQ5 在不同图族中，边测量和顶点测量的噪声水平如何影响误差率的缩放？

主要发现

• 所提算法在路径图中实现了 $ O(pn) $ 的最优汉明误差，显著优于仅使用边测量的方法，后者误差为 $ ilde{O}(n) $。
• 在二维网格中，该方法在恒定高度范围内实现了最优恢复，优于Globerson等人（2015）的工作。
• 在最小度为 $ \theta(\log n) $ 的图中，期望汉明误差以 $ \exp(-C \cdot \text{deg}(v) \epsilon^2 (1-2p)^2) $ 的速率指数衰减，使得当 $ n \to \infty $ 时误差趋近于零。
• 该算法在树上的运行时间为 $ O(nK_n^2) $，对路径图有线性时间变体，展现出高效性和可扩展性。
• 附加信息至关重要：在路径等稀疏图中，若无附加信息，则无法实现非平凡恢复，仅靠边测量的方法会失效。
• 该方法可推广至小世界网络（如Newman-Watts模型），通过树分解和动态规划实现最优误差率。