[论文解读] Debiased Inference of Average Partial Effects in Single-Index Models

David A. Hirshberg, Stefan Wager|arXiv (Cornell University)|Nov 6, 2018

Statistical Methods and Inference参考文献 16被引用 9

一句话总结

本文提出了一种高维单指数模型中平均部分效应的去偏推断方法，该方法在无需假设 beta-min 条件的情况下实现了 √n 一致性与渐近正态性。通过显式建模特征相关性，并借鉴 Javanmard & Montanari (2014) 的去偏框架，该方法在较弱的稀疏性假设下仍能实现稳健推断，在混杂情境下优于 Wooldridge 和 Zhu (2018)。

ABSTRACT

We propose a method for average partial effect estimation in high-dimensional single-index models that is root-n-consistent and asymptotically unbiased given sparsity assumptions on the underlying regression model. This note was prepared as a comment on Wooldridge and Zhu [2018], forthcoming in the Journal of Business and Economic Statistics.

研究动机与目标

• 为解决现有高维推断方法依赖于严格 beta-min 条件所带来的局限性，这些条件在存在混杂特征时可能导致偏倚推断。
• 开发一种在单指数模型中估计平均部分效应（APEs）的方法，使其在弱于 Wooldridge 和 Zhu (2018) 所需假设下仍保持 √n 一致性与渐近正态性。
• 通过在估计过程中显式考虑协变量之间的相关结构，提升高维设定下对混杂的鲁棒性。
• 提出一种理论基础坚实的替代方案，以替代 Wooldridge 和 Zhu (2018) 的方法，通过一种新颖的去偏机制避免对软性 beta-min 条件的依赖。
• 建立所提出估计量实现渐近正态性并针对非线性高维模型中的 APE 实现有效推断的条件。

提出的方法

• 提出一种去偏估计量的形式 $\hat{\tau}_j = \frac{1}{n}\sum_{i=1}^n \left( \hat{\theta}_j \psi(X_i^T\hat{\theta}) + \hat{\gamma}_i (Y_i - \Psi(X_i^T\hat{\theta})) \right)$，其中 $\hat{\theta}$ 是高维单指数模型的估计值。
• 通过 $\hat{\gamma}_i$ 的残差校正，校正 $\hat{\theta}$ 中因正则化引入的偏差，遵循 Javanmard 和 Montanari (2014) 的去偏框架。
• 采用交叉拟合以降低估计与去偏步骤之间的依赖性，提升有限样本性能与理论有效性。
• 通过分析估计方程的二阶泰勒展开中的余项，推导出渐近正态性，证明在弱正则性与稀疏性条件下，该余项为 $o_p(n^{-1/2})$。
• 引入代理变量 $\gamma_n^\star(X_i)$ 以解耦 $\hat{\gamma}_i$ 对数据的依赖性，从而可使用集中不等式与矩不等式。
• 证明偏差项 $\text{rem}_n$ 为 $o_p(n^{-1/2})$，方法是通过矩条件与 $\hat{\gamma}$ 的均方一致性，对海森矩阵展开的每一项进行有界控制。

实验结果

研究问题

• RQ1 我们能否在不依赖 beta-min 条件的前提下，实现高维单指数模型中平均部分效应的 √n 一致性与渐近正态性推断？
• RQ2 当特征相关且具有微弱但非零效应时，如何提升高维 APE 估计中对混杂的鲁棒性？
• RQ3 显式建模协变量相关结构对非线性模型中 APE 估计量的偏差与方差有何影响？
• RQ4 在底层模型对指数参数为非线性时，所提出的去偏方法在何种条件下可实现有效推断？
• RQ5 该去偏框架能否适配于链接函数形式引入指数参数非线性依赖关系的单指数模型？

主要发现

• 所提出的估计量在弱于 Wooldridge 和 Zhu (2018) 所需的假设下实现了 √n 一致性与渐近正态性，特别是避免了对 beta-min 条件的依赖。
• 该方法在高维设定下对混杂具有鲁棒性，模拟结果表明当特征与焦点变量相关但效应微弱时，其性能优于基线方法。
• 估计量渐近展开中的余项为 $o_p(n^{-1/2})$，确保偏差不会主导渐近分布。
• 使用代理变量 $\gamma_n^\star(X_i)$ 对去偏权重的处理，使得余项可被分解并利用矩条件与集中不等式进行有界控制。
• 理论分析表明，通过 $\hat{\gamma}_i$ 的偏差校正能有效消除 $\hat{\theta}_j$ 中由正则化引入的偏差，从而实现有效推断。
• 该方法适用于具有有界导数的链接函数的广义单指数模型，包括 probit 模型作为特例。