[论文解读] Identification, Doubly Robust Estimation, and Semiparametric Efficiency Theory of Nonignorable Missing Data With a Shadow Variable

Wang Miao, Lan Liu+2 more|arXiv (Cornell University)|Sep 8, 2015

Statistical Methods and Bayesian Inference参考文献 46被引用 15

一句话总结

本文提出了一种半参数框架，用于在不可忽略缺失数据（MNAR）条件下进行因果推断，利用一个“影子变量”——即与结果相关但给定结果和协变量后与缺失性独立的可观测变量。该研究建立了非参数可识别性，推导出高效影响函数，并提出了双重稳健估计量，即使仅结果模型或缺失性模型之一正确指定，也能保持一致性，从而实现半参数效率。

ABSTRACT

We consider identification and estimation with an outcome missing not at random (MNAR). We study an identification strategy based on a so-called shadow variable. A shadow variable is assumed to be correlated with the outcome, but independent of the missingness process conditional on the outcome and fully observed covariates. We describe a general condition for nonparametric identification of the full data law under MNAR using a valid shadow variable. Our condition is satisfied by many commonly-used models; moreover, it is imposed on the complete cases, and therefore has testable implications with observed data only. We describe semiparametric estimation methods and evaluate their performance on both simulation data and a real data example. We characterize the semiparametric efficiency bound for the class of regular and asymptotically linear estimators, and derive a closed form for the efficient influence function.

研究动机与目标

• 解决不可忽略缺失数据（MNAR）的挑战，即缺失性在给定观测数据后仍依赖于未观测值。
• 提出一种基于影子变量的非参数可识别策略，用于在MNAR条件下识别完整数据分布，其中影子变量与结果相关，但给定结果和协变量后与缺失性独立。
• 基于仅可观测数据建立可检验的识别条件，确保识别假设的可经验验证性。
• 推导出正则且渐近线性估计量的半参数效率界限，以及闭式高效影响函数。
• 提出双重稳健估计方法，当结果模型或缺失性过程模型之一正确指定时，仍能保持一致性。

提出的方法

• 引入影子变量作为结果的完全可观测相关变量，其在给定结果和观测协变量的条件下，与缺失性过程满足条件独立性。
• 基于结果、影子变量和协变量的联合分布，提出一个一般性的非参数识别条件，该条件仅基于可观测数据即可检验。
• 通过切线空间分解和投影技术，推导出在半参数模型下目标参数的高效影响函数（EIF）。
• 通过结合结果回归模型与缺失性倾向得分模型，构建双重稳健估计量，确保任一模型正确时的一致性。
• 通过投影到观测数据模型的切线空间，推导出EIF并验证估计量的效率特性。
• 通过逆概率加权与结果回归实现估计，双重稳健性通过基于EIF的 estimating equation 确保。

实验结果

研究问题

• RQ1 在数据缺失不随机（MNAR）且使用影子变量的条件下，完整数据分布在何种条件下可实现非参数识别？
• RQ2 识别假设能否仅基于可观测数据进行经验检验？
• RQ3 在存在MNAR且使用影子变量的情况下，正则且渐近线性估计量的半参数效率界限是什么？
• RQ4 如何构建双重稳健估计方法，以确保当结果模型或缺失性模型之一正确指定时仍保持一致性？
• RQ5 在具有影子变量的MNAR模型下，高效影响函数的闭式表达式是什么？

主要发现

• 本文建立了基于影子变量的非参数识别条件，适用于MNAR数据，且仅基于可观测数据即可检验。
• 刻画了半参数效率界限，并推导出高效影响函数的闭式表达式，从而实现最优估计。
• 证明高效影响函数等于初始影响函数在切线空间上的投影与涉及缺失性模型得分的校正项之和。
• 所提出的双重稳健估计量在结果模型或缺失性过程模型之一正确指定时，可实现半参数效率。
• 模拟研究与真实数据示例表明，该方法具有稳健性和高效性，性能接近理论效率界限。
• 该方法适用于广泛的模型类别，包括参数与非参数回归，并将现有双重稳健方法扩展至具有影子变量的MNAR设置。