[论文解读] Inference In High-dimensional Single-Index Models Under Symmetric Designs

Hamid Eftekhari, Moulinath Banerjee+1 more|arXiv (Cornell University)|Sep 8, 2019

Statistical Methods and Inference参考文献 37被引用 8

一句话总结

本文提出了一种在椭球对称设计下对高维单指数模型进行去偏推断的方法，通过将模型重新表述为代理线性模型，避免了对未知连接函数的直接估计。该方法在回归系数估计中实现了 $√n$-一致性与渐近正态性，且在高斯分布下通过赫米特多项式展开进一步提升了估计效率。

ABSTRACT

The problem of statistical inference for regression coefficients in a high-dimensional single-index model is considered. Under elliptical symmetry, the single index model can be reformulated as a proxy linear model whose regression parameter is identifiable. We construct estimates of the regression coefficients of interest that are similar to the debiased lasso estimates in the standard linear model and exhibit similar properties: root-n-consistency and asymptotic normality. The procedure completely bypasses the estimation of the unknown link function, which can be extremely challenging depending on the underlying structure of the problem. Furthermore, under Gaussianity, we propose more efficient estimates of the coefficients by expanding the link function in the Hermite polynomial basis. Finally, we illustrate our approach via carefully designed simulation experiments.

研究动机与目标

• 解决在连接函数未知且可能不规则的高维单指数模型中，回归系数统计推断的挑战。
• 通过利用设计矩阵的椭球对称性，克服高维设置下连接函数的可识别性与估计困难。
• 开发一种方法，实现对索引系数向量的 $√n$-一致性与渐近正态性推断，且无需连接函数具有光滑性或可微性。
• 在高斯设计下，通过赫米特多项式基展开连接函数，以提升估计效率。
• 提供一种有效的推断框架，避免非参数连接函数估计带来的计算与理论负担。

提出的方法

• 在椭球对称条件下，将单指数模型重新表述为代理线性模型，从而在不估计连接函数的情况下识别索引系数向量。
• 构建类似套索的去偏估计量以估计回归系数，其方法与高维线性模型中的标准程序一致。
• 利用设计的对称性，在连接函数仅满足最小正则性条件下，推导出去偏估计量的渐近正态性与 $√n$-一致性。
• 在高斯设计下，将未知连接函数展开为赫米特多项式基，以构造具有更优方差性质的更高效估计量。
• 推导在稀疏性与椭球对称性假设下的估计量渐近分布，从而支持有效的置信区间与假设检验。
• 在不同样本量、稀疏性与峰度条件下进行模拟实验，以评估该方法在各种设计条件下的性能。

实验结果

研究问题

• RQ1 在高维单指数模型中，是否可以在不估计未知连接函数的情况下实现对索引系数向量的有效推断？
• RQ2 在椭球对称条件下，高维单指数模型中去偏估计量的渐近性质是什么？
• RQ3 当连接函数不连续或非光滑时，所提出方法的性能与现有方法相比如何？
• RQ4 在高斯设计下，对连接函数进行赫米特多项式展开是否能带来更高效的估计？
• RQ5 未知与已知协方差结构对推断程序的覆盖概率与选择准确性有何影响？

主要发现

• 所提出的去偏估计量在椭球对称条件下，即使连接函数不连续，也能实现对索引系数向量的 $√n$-一致性与渐近正态性。
• 模拟结果表明，当 $n=500$ 且 $s=5$ 或 $10$ 时，真阳性率（TPR > 0.90）较高，假阳性率（FPR ≈ 0.04–0.06）较低，表明变量选择性能优异。
• 在所有配置下，真实系数集合 $S$ 的覆盖概率均稳定高于 0.90，当 $n=500$ 时，平均覆盖概率 $\overline{cov}(S) \geq 0.91$。
• 在高斯设计下，基于赫米特多项式估计量的效率得到提升，平均置信区间长度显著缩短（$\bar{l}(S) \approx 0.25$，$n=500$），优于非高斯情形。
• 当 $\Sigma$ 未知时，方法仍保持良好的覆盖性能（$\overline{cov}(S) \geq 0.91$）与低假阳性率，表明对协方差估计误差具有鲁棒性。
• 在连接函数不光滑或不规则的设定下，该方法显著优于现有方法，而传统方法因依赖光滑性假设而失效。