[论文解读] Calibration and partial calibration on principal components when the number of auxiliary variables is large

Hervé Cardot, Camélia Goga+1 more|arXiv (Cornell University)|Jun 30, 2014

Survey Sampling and Estimation Techniques参考文献 26被引用 12

一句话总结

本文提出一种基于主成分的校准方法，适用于辅助变量数量较多的调查抽样，通过降维避免过度校准并提高估计效率。通过在校准中使用前几项主成分（保留大部分变异信息），该方法实现的均方误差（MSE）低于完整校准，且采用数据驱动规则确保权重为正，并使有效变量数量减少15倍以上。

ABSTRACT

In survey sampling, calibration is a very popular tool used to make total estimators consistent with known totals of auxiliary variables and to reduce variance. When the number of auxiliary variables is large, calibration on all the variables may lead to estimators of totals whose mean squared error (MSE) is larger than the MSE of the Horvitz-Thompson estimator even if this simple estimator does not take account of the available auxiliary information. We study in this paper a new technique based on dimension reduction through principal components that can be useful in this large dimension context. Calibration is performed on the first principal components, which can be viewed as the synthetic variables containing the most important part of the variability of the auxiliary variables. When some auxiliary variables play a more important role than the others, the method can be adapted to provide an exact calibration on these important variables. Some asymptotic properties are given in which the number of variables is allowed to tend to infinity with the population size. A data driven selection criterion of the number of principal components ensuring that all the sampling weights remain positive is discussed. The methodology of the paper is illustrated, in a multipurpose context, by an application to the estimation of electricity consumption for each day of a week with the help of 336 auxiliary variables consisting of the past consumption measured every half an hour over the previous week.

研究动机与目标

• 解决当辅助变量数量较多时调查抽样中过度校准的问题，该问题可能导致估计量性能劣于Horvitz-Thompson估计量。
• 提出一种基于主成分的降维方法，以稳定校准权重并减少总体估计量的方差。
• 在关键辅助变量被认为比其他变量更重要时，确保对这些关键变量实现精确校准。
• 提出一种数据驱动的主成分数量选择规则，以保持正抽样权重并改善MSE。
• 为该方法提供渐近理论依据，即当总体规模和辅助变量数量均趋于无穷大时仍成立。

提出的方法

• 对辅助变量应用主成分分析（PCA），提取少量不相关的合成变量（主成分），以捕捉大部分变异。
• 在前 r 个主成分上进行校准，而非所有原始辅助变量，将这些主成分视为合成协变量。
• 使用基于总体或基于样本的主成分，后者需要从样本中估计成分载荷。
• 引入一种惩罚校准框架，允许部分校准：对关键变量实现精确校准，对剩余成分实现近似校准。
• 实施一种数据驱动的选择准则，以确定主成分数量 r，确保所有抽样权重保持为正。
• 将PCA校准与基于主成分回归（PCR）的广义回归估计量（GREG）联系起来，利用多元回归中已建立的方法。

实验结果

研究问题

• RQ1 当辅助变量数量较多时，通过主成分进行降维是否能改善校准性能？
• RQ2 在校准主成分时，其均方误差（MSE）是否低于对所有辅助变量进行完整校准？
• RQ3 如何在降维的同时保留对少数关键辅助变量的精确校准？
• RQ4 是否存在一种可靠且数据驱动的规则，用于选择主成分数量，以确保抽样权重为正？
• RQ5 当辅助变量数量和主成分数量均随总体规模增长时，该方法具有何种渐近性质？

主要发现

• 在校准前几个主成分时，总体估计量的均方误差（MSE）显著低于对所有辅助变量进行完整校准的结果。
• 用于确定主成分数量的数据驱动选择规则确保了所有抽样权重为正，并使MSE与最优调参的岭回归校准相当。
• 平均而言，该方法使有效校准变量数量减少超过15倍，极大简化了计算并提高了稳定性。
• 在电力消费案例研究中，与对全部336个辅助变量校准相比，MSE降低了约一半。
• 校准误差（与真实总量的偏差）随 r 增加而迅速下降，从 r=1 时的平均约1300降至 r=10 时的约600，且在 r>15 后改善幅度极小。
• 当通过数据驱动规则自动选择主成分数量时，所得MSE与 r=10 时相当，但具有更高变异性，表明在实际应用中具有鲁棒性。