[论文解读] Estimating Undirected Graphs Under Weak Assumptions

Larry Wasserman, Mladen Kolar+1 more|arXiv (Cornell University)|Sep 26, 2013

Statistical Methods and Inference参考文献 3被引用 13

一句话总结

本文提出了一种非参数方法，用于在弱假设下估计无向图模型，并提供有效的置信保证——无需假设稀疏性、正态性或不一致性。在中等维度（D_n < n）下，该方法使用自展法（bootstrap）和delta方法，实现了类似Berry-Esseen的误差界 O(log D_n / n^{1/8})；在高维设置（D_n > n）下，提出了替代图类型（聚类图、受限偏相关图、相关图）以应对高维挑战。

ABSTRACT

We consider the problem of providing nonparametric confidence guarantees for undirected graphs under weak assumptions. In particular, we do not assume sparsity, incoherence or Normality. We allow the dimension $D$ to increase with the sample size $n$. First, we prove lower bounds that show that if we want accurate inferences with low assumptions then there are limitations on the dimension as a function of sample size. When the dimension increases slowly with sample size, we show that methods based on Normal approximations and on the bootstrap lead to valid inferences and we provide Berry-Esseen bounds on the accuracy of the Normal approximation. When the dimension is large relative to sample size, accurate inferences for graphs under low assumptions are not possible. Instead we propose to estimate something less demanding than the entire partial correlation graph. In particular, we consider: cluster graphs, restricted partial correlation graphs and correlation graphs.

研究动机与目标

• 在不依赖强参数假设（如正态性、稀疏性或不一致性）的前提下，为无向图模型提供有效的置信区间。
• 在维度 D_n 随样本量 n 增加时，建立图估计的有限样本与渐近误差界。
• 通过提出更宽松的图表示形式（如聚类图和相关图），解决高维图估计（D_n > n）的挑战。
• 为增加维数设置下的delta方法与自展法推导显式的Berry-Esseen风格误差界，确保在弱条件下实现有效的推断。

提出的方法

• 在中等维度情形（D_n < n）下，采用自展法与delta方法，为偏相关性构造置信区间，其中 D_n 随 n 增加。
• 利用样本偏相关估计量的渐近正态性，并推导近似误差的有限样本Berry-Esseen界。
• 引入修正的检验统计量 Z_jk = √n(θ̂_jk - θ_jk)/ŝ_jk，并利用浓度不等式控制其与标准正态分布CDF的上范数偏差。
• 在高维设置（D_n > n）下，提出估计简化的图结构：聚类图（节点分组）、受限偏相关图（受限边集）和相关图（成对相关性）。
• 通过并集界推导所有偏相关区间联合覆盖概率的界，误差项为 O(D²(√(ρ_n/n) log(nD²) + γ_n/√n log(nD²)))。
• 应用近期的高维中心极限定理（Chernozhukov et al.）以在弱依赖和矩条件下的正态近似误差进行控制。

实验结果

研究问题

• RQ1 能否在不假设稀疏性、正态性或不一致性的情况下，为无向图模型构造有效的置信区间？
• RQ2 在弱假设下，维度 D_n 相对于样本量 n 的基本极限是什么，以实现可靠的图估计？
• RQ3 当 D_n 随 n 增加但保持小于 n 时，如何调整 delta 方法与自展法以实现准确推断？
• RQ4 当 D_n 超过 n 且完整偏相关图估计不可行时，哪些替代图表示形式是可行且统计上有效的？
• RQ5 在 D_n 增加的高维设置下，能否为正态近似的误差推导出显式的非渐近误差界？

主要发现

• 在中等维度（D_n < n）下，自展法与delta方法可为偏相关性提供有效的置信区间，覆盖误差被限制在 O(log D_n / n^{1/8}) 以内。
• 本文为delta方法与自展法中的正态近似建立了类似Berry-Esseen的误差界，误差项的尺度为 O(√(ρ_n/n) log(nD²) + γ_n/√n log(nD²))。
• 尽管理论上可构造有限样本置信区间，但在高维设置下其过于保守，不适用于实际应用。
• 当 D_n > n 时，在弱假设下无法实现完整偏相关图估计；取而代之，提出了聚类图、受限偏相关图和相关图作为可行的替代方案。
• 所有偏相关区间联合覆盖概率的界为 1 - α + D²[√(ρ_n/n) log(nD²) + γ_n/√n log(nD²)]，表明维度对误差控制的影响。
• 研究结果表明，在弱假设下有效推断仅在 D_n 相对于 n 缓慢增长时可能实现，且通过第4节的下界分析确立了严格的极限。