[论文解读] A Unified Theory of Confidence Regions and Testing for High Dimensional Estimating Equations

Matey Neykov, Ning Yang+2 more|arXiv (Cornell University)|Oct 30, 2015

Statistical Methods and Inference被引用 4

一句话总结

本文提出了一种无需似然函数的推断框架，用于在由 estimating equations 定义的高维模型中构建置信区域并进行假设检验。通过使用大规模线性规划将拟合的 estimating equations 投影到稀疏方向上，该方法建立了一个统一的 Z-估计理论，使得在无需完整似然函数设定的情况下，能够对高维问题进行有效推断，包括在噪声压缩感知、工具变量回归、图模型和向量自回归模型中。

ABSTRACT

We propose a new inferential framework for constructing confidence regions and testing hypotheses in statistical models specified by a system of high dimensional estimating equations. We construct an influence function by projecting the fitted estimating equations to a sparse direction obtained by solving a large-scale linear program. Our main theoretical contribution is to establish a unified Z-estimation theory of confidence regions for high dimensional problems. Different from existing methods, all of which require the specification of the likelihood or pseudo-likelihood, our framework is likelihood-free. As a result, our approach provides valid inference for a broad class of high dimensional constrained estimating equation problems, which are not covered by existing methods. Such examples include, noisy compressed sensing, instrumental variable regression, undirected graphical models, discriminant analysis and vector autoregressive models. We present detailed theoretical results for all these examples. Finally, we conduct thorough numerical simulations, and a real dataset analysis to back up the developed theoretical results.

研究动机与目标

• 解决当维度 d 超过样本量 n 时，由 estimating equations 定义的高维模型缺乏有效推断方法的问题。
• 克服现有基于似然的方法所要求的完整分布假设所带来的局限性。
• 为一大类高维约束 estimating equation 问题开发一个统一的框架。
• 实现对工具变量、图模型和向量自回归等模型中感兴趣参数的正则化后推断。
• 在最小矩条件假设下，建立置信区域和假设检验的理论保证，无需假设完整的似然结构。

提出的方法

• 基于高维 estimating equations 构建 Z-估计框架以实现推断。
• 通过求解大规模线普线性规划获得的稀疏方向，将 estimating equations 投影以构造影响函数。
• 采用类似 Dantzig 选择器的约束来在参数估计中施加稀疏性：在 ∥t(Z,β)∥∞ ≤ λ 的约束下最小化 ℓ1 范数。
• 在正则条件下推导影响函数的渐近正态性，从而实现置信区域的构建。
• 利用浓度不等式和随机矩阵理论控制估计误差，并确保影响函数的一致性。
• 通过一致收敛性和基于稀疏性的估计误差界，建立置信区域和假设检验的理论有效性。

实验结果

研究问题

• RQ1 在不假设完整似然模型的前提下，能否为高维参数构建有效的置信区域？
• RQ2 在由矩条件定义的高维模型（如工具变量或图模型）中，如何实现一致的推断？
• RQ3 在高维设定下，使用 estimating equations 的稀疏投影来构建影响函数的理论依据是什么？
• RQ4 当 d ≫ n 且真实参数为稀疏时，所提出的方法如何保持置信区域的有效覆盖？
• RQ5 该框架能否在压缩感知、IV 回归和向量自回归等多样化模型中统一应用，而无需针对每种模型假设特定的似然结构？

主要发现

• 在温和的矩条件假设下，所提方法实现了影响函数的渐近正态性，从而为高维参数提供了有效的置信区域。
• 该框架为一大类模型提供了有效的推断，包括带噪声的压缩感知、工具变量回归、无向图模型、判别分析和向量自回归模型。
• 在稀疏性和限制特征值型条件下建立了理论保证，确保估计量和影响函数的收敛性。
• 该方法实现了经验 estimating equation 对其期望的统一收敛，估计误差界在适当正则条件下呈 O(√(log d / n)) 的量级。
• 数值模拟和真实数据分析证实了该方法在多样化高维设定下的经验有效性与鲁棒性。
• 该方法为无似然方法，仅需矩条件，因此适用于全似然难以计算或设定错误的模型。