[论文解读] Data-adaptive smoothing for optimal-rate estimation of possibly non-regular parameters

Aurélien Bibaut, Mark J. van der Laan|arXiv (Cornell University)|Jun 22, 2017

Advanced Causal Inference Techniques参考文献 12被引用 4

一句话总结

本文提出一种数据自适应平滑方法，用于在非参数模型中对非正则、可能非路径可微的参数实现最优率估计。通过构建一个由平滑水平参数化的路径可微近似参数族，该方法利用一步估计量选择最优平滑水平，确保渐近正态性、最优均方误差收敛性以及近似最优宽度的有效置信区间。

ABSTRACT

We consider nonparametric inference of finite dimensional, potentially non-pathwise differentiable target parameters. In a nonparametric model, some examples of such parameters that are always non pathwise differentiable target parameters include probability density functions at a point, or regression functions at a point. In causal inference, under appropriate causal assumptions, mean counterfactual outcomes can be pathwise differentiable or not, depending on the degree at which the positivity assumption holds. In this paper, given a potentially non-pathwise differentiable target parameter, we introduce a family of approximating parameters, that are pathwise differentiable. This family is indexed by a scalar. In kernel regression or density estimation for instance, a natural choice for such a family is obtained by kernel smoothing and is indexed by the smoothing level. For the counterfactual mean outcome, a possible approximating family is obtained through truncation of the propensity score, and the truncation level then plays the role of the index. We propose a method to data-adaptively select the index in the family, so as to optimize mean squared error. We prove an asymptotic normality result, which allows us to derive confidence intervals. Under some conditions, our estimator achieves an optimal mean squared error convergence rate. Confidence intervals are data-adaptive and have almost optimal width. A simulation study demonstrates the practical performance of our estimators for the inference of a causal dose-response curve at a given treatment dose.

研究动机与目标

• 解决在非参数模型中对非正则、非路径可微参数（如某点处的密度或回归函数值）进行最优推断的挑战。
• 提出一种通用框架，用于构建由平滑水平参数化的路径可微近似参数族，实现高效估计与推断。
• 提出一种基于数据自适应的平滑水平选择规则，以优化均方误差并确保最终估计量的渐近正态性。
• 证明在正则条件下，所得估计量可达到所有形式为 $\widehat{\Psi}_n(\delta_n)$ 的估计量中的最优收敛速率，且置信区间宽度接近最优。

提出的方法

• 构建一个由标量 $\delta$ 索引的路径可微近似参数族 $\Psi_\delta(P)$，其中 $\delta$ 控制平滑程度（例如核密度估计中的带宽或倾向得分估计中的截断水平）。
• 基于初始的分布 $P_0$ 估计量，使用一步估计量 $\widehat{\Psi}_n(\delta)$，对每个 $\delta$ 确保双重稳健性与渐近效率。
• 通过基于经验影响函数的数据驱动准则最小化，选择最优平滑水平 $\hat{\delta}_n$，以实现最优均方误差性能。
• 在正则条件下，建立最终估计量 $\widehat{\Psi}_n(\hat{\delta}_n)$ 的渐近正态性，从而实现有效置信区间的构建。
• 采用两步程序，涉及慢序列 $\tilde{\delta}_{1,n}$ 与 $\tilde{\delta}_{2,n}$，以确保理论有效性，实际选择则通过 $\log\widehat{b}'_{2,n}(\delta)$ 与 $\log\delta$ 的线性区域图进行引导。
• 将该方法应用于因果推断问题，包括在已知处理机制下对剂量-反应曲线的估计，并通过理论分析与模拟验证其有效性。

实验结果

研究问题

• RQ1 数据自适应平滑程序能否在非正则参数的非参数模型中实现最优均方误差收敛？
• RQ2 如何通过由平滑水平参数化的近似参数族恢复非正则参数的路径可微性？
• RQ3 何种最优平滑水平选择规则可确保渐近正态性与最优推断？
• RQ4 所得估计量能否在所有形式为 $\widehat{\Psi}_n(\delta_n)$ 的估计量中达到最优收敛速率？
• RQ5 与确定性平滑水平相比，该方法在有限样本中表现如何，特别是在真实参数非光滑时？

主要发现

• 在正则条件下，所提数据自适应平滑方法实现了最优均方误差收敛速率，达到理论下界。
• 在选定平滑水平 $\hat{\delta}_n$ 处的一步估计量渐近正态，从而可构建具有近似最优宽度的有效置信区间。
• 在模拟中，该方法优于确定性平滑水平（如 $Cn^{-1/5}$ 或 $Cn^{-1/7}$），即使这些水平由理论最优率指导。
• 对于剂量-反应曲线上 $a_0$ 处的尖点，该方法能自适应局部非光滑性，优于假设全局光滑性的方法。
• 在有限样本中，最优平滑水平估计为 $\approx 0.132n^{-0.183}$，偏离理论值 $n^{-1/5}$，这是由于有限样本偏差所致，而该方法成功实现了对此类偏差的自适应。
• 实际应用中，可通过在 $\log\widehat{b}'_{2,n}(\delta)$ 与 $\log\delta$ 的线性区域中选择 $\tilde{\delta}_{i,n}$ 实现，从而确保强大的有限样本表现。