[论文解读] Constrained High Dimensional Statistical Inference

Ming Yu, Varun Gupta+1 more|arXiv (Cornell University)|Nov 17, 2019

Gaussian Processes and Bayesian Inference参考文献 42被引用 9

一句话总结

本文提出了一种受限的高维推断框架，通过修改Wald检验、Score检验和似然比检验，以考虑高维模型中低维参数的锥约束。通过整合参数空间约束（如非负性或单调性），该方法实现了渐近正确的第一类错误控制，并且相较于无约束方法，统计功效显著提高，该结论已在真实的遗传数据和网络扩散数据集中得到验证。

ABSTRACT

In typical high dimensional statistical inference problems, confidence intervals and hypothesis tests are performed for a low dimensional subset of model parameters under the assumption that the parameters of interest are unconstrained. However, in many problems, there are natural constraints on model parameters and one is interested in whether the parameters are on the boundary of the constraint or not. e.g. non-negativity constraints for transmission rates in network diffusion. In this paper, we provide algorithms to solve this problem of hypothesis testing in high-dimensional statistical models under constrained parameter space. We show that following our testing procedure we are able to get asymptotic designed Type I error under the null. Numerical experiments demonstrate that our algorithm has greater power than the standard algorithms where the constraints are ignored. We demonstrate the effectiveness of our algorithms on two real datasets where we have {\emph{intrinsic}} constraint on the parameters.

研究动机与目标

• 为解决高维设定下缺乏考虑模型参数自然约束的统计推断方法的问题。
• 开发在锥约束（如非负性或单调性）下仍能保持渐近第一类错误控制的假设检验程序。
• 通过利用关于参数边界的先验知识，相较于无约束方法，提升统计功效。
• 实现对网络扩散模型中单个边的显著性检验，其传输速率为非负。
• 提供一种适用于现实世界问题的框架，其中参数本质上受到约束，例如在社交网络或遗传研究中。

提出的方法

• 提出修改后的Wald、Score和似然比检验统计量，以考虑低维参数 $ \bm{\alpha} $ 上的闭凸锥约束 $ C $。
• 定义原假设 $ H_0: \bm{\alpha} \in M $，其中 $ M $ 是 $ C $ 边界上的线性子空间，备择假设 $ H_A: \bm{\alpha} \in C \setminus M $。
• 推导在原假设下检验统计量的渐近分布，通过约束估计和得分条件确保渐近第一类错误控制。
• 对高维干扰参数 $ \bm{\theta} $ 采用基于LASSO的惩罚估计，随后进行去偏处理，以实现对 $ \bm{\alpha} $ 的推断。
• 使用受限检验的p值评估单个参数（如网络扩散模型中的边权重）的显著性。
• 在同时检验多个边时，采用多重检验校正（如Holm-Bonferroni方法）以控制家庭错误率。

实验结果

研究问题

• RQ1 在高维模型中，当参数被约束于一个锥时，假设检验能否保持渐近第一类错误控制？
• RQ2 与无约束推断相比，是否通过引入已知的参数约束（如非负性）可显著提高统计功效？
• RQ3 如何在高维模型中检验一个低维参数是否位于凸锥约束的边界上？
• RQ4 所提出的方法能否有效识别具有非负传输速率的网络扩散模型中的显著边？
• RQ5 当忽略约束时，受限检验方法与标准方法的性能相比如何？

主要发现

• 所提出的受限检验程序在原假设下实现了渐近第一类错误控制，即使在存在干扰参数的高维设定下亦成立。
• 数值实验表明，当存在约束时，该方法相较于无约束方法具有显著更高的统计功效。
• 在Memetracker数据集上，所有三种受限检验对时变波动效应的检验p值均为0.41，未能拒绝原假设，与先前研究结果一致。
• 在网络扩散建模中，应用受限方法将密集估计的网络（图3）简化为更稀疏、更具可解释性的结构（图4），仅保留p值 ≤ 0.05的边。
• 经过受限检验后得到的网络结构比单纯依赖高L1惩罚获得的稀疏结构更可靠，因为它结合了统计显著性，而不仅仅是参数大小。
• 该方法实现了网络模型中单个边的显著性检验，为启发式稀疏化提供了一种更合理的替代方案。