[論文レビュー] Calibration and partial calibration on principal components when the number of auxiliary variables is large

Hervé Cardot, Camélia Goga+1 more|arXiv (Cornell University)|Jun 30, 2014

Survey Sampling and Estimation Techniques参考文献 26被引用数 12

ひとこと要約

本稿では、補助変数の数が多い場合の調査標本における主成分に基づく補正手法を提案する。次元削減により過剰補正を回避し、推定効率を向上させる。最初の数個の主成分に補正を行うことで、全変数への補正よりも低い平均二乗誤差（MSE）を達成し、正の重みを保証するデータ駆動ルールにより、有効な変数の数を15倍以上削減する。

ABSTRACT

In survey sampling, calibration is a very popular tool used to make total estimators consistent with known totals of auxiliary variables and to reduce variance. When the number of auxiliary variables is large, calibration on all the variables may lead to estimators of totals whose mean squared error (MSE) is larger than the MSE of the Horvitz-Thompson estimator even if this simple estimator does not take account of the available auxiliary information. We study in this paper a new technique based on dimension reduction through principal components that can be useful in this large dimension context. Calibration is performed on the first principal components, which can be viewed as the synthetic variables containing the most important part of the variability of the auxiliary variables. When some auxiliary variables play a more important role than the others, the method can be adapted to provide an exact calibration on these important variables. Some asymptotic properties are given in which the number of variables is allowed to tend to infinity with the population size. A data driven selection criterion of the number of principal components ensuring that all the sampling weights remain positive is discussed. The methodology of the paper is illustrated, in a multipurpose context, by an application to the estimation of electricity consumption for each day of a week with the help of 336 auxiliary variables consisting of the past consumption measured every half an hour over the previous week.

研究の動機と目的

• 補助変数の数が多い場合に生じる過剰補正の問題に対処すること。これは、ホルヴィッツ＝トムプソン推定量と比較して推定量の性能を低下させる可能性がある。
• 主成分を用いた次元削減アプローチを開発し、補正重みの安定化と全量推定量の分散低減を図ること。
• 特定の補助変数が他のものよりも重要であると見なされる場合、それらの重要な変数に対して正確な補正を維持すること。
• 正の標本重みを保証し、MSEを改善するための、データ駆動型の主成分数の選択ルールを提案すること。
• 母集団サイズと補助変数の数が無限大に近づく際の漸近的妥当性を提示すること。

提案手法

• 補助変数に対して主成分分析（PCA）を適用し、変動の大部分を捉える少数の無相関の合成変数（主成分）を抽出する。
• すべての元の補助変数ではなく、最初のr個の主成分に対して補正を行う。これらを合成予測変数として扱う。
• 母集団または標本に基づく主成分を用いる。後者の場合、標本から主成分負荷量を推定する必要がある。
• 部分的補正を許容するペナルティ付き補正フレームワークを導入する。すなわち、重要な変数に対しては正確な補正を行い、残りの成分に対しては近似補正を行う。
• すべての標本重みが正のまま保たれるように、主成分数rのデータ駆動型選択基準を実装する。
• 主成分回帰（PCR）に基づくGREG推定量とPCA補正を関連づけ、多次元回帰分野で確立された手法を活用する。

実験結果

リサーチクエスチョン

• RQ1 補助変数の数が多い場合、主成分による次元削減が補正性能を向上させるか？
• RQ2 主成分に補正を施すことで、すべての補助変数に補正を施す全補正と比較して、平均二乗誤差（MSE）が低くなるか？
• RQ3 次元削減を実施しながらも、少数の重要な補助変数に対して正確な補正を維持する方法は何か？
• RQ4 正の標本重みを保証する信頼性のある、データ駆動型の主成分数の選択ルールは何か？
• RQ5 補助変数の数と主成分数が母集団サイズとともに無限大に近づく際、どのような漸近的性質が成り立つか？

主な発見

• 最初の数個の主成分に対する補正は、すべての補助変数に補正を施す全補正と比較して、全量推定量の平均二乗誤差（MSE）を顕著に低減する。
• 主成分数の選択に用いるデータ駆動型ルールにより、すべての標本重みが正のまま保たれ、最適なチューニングを用いたリッジ補正と同等のMSEが達成される。
• 平均して、この手法は有効な補正変数の数を15倍以上削減し、計算の簡略化と安定性の向上を大幅に図る。
• 電力消費量の事例研究では、336個の補助変数に全補正を施す場合と比較して、MSEが約半減した。
• 補正の誤差（真の合計からの逸脱）は、rの増加に伴い急速に減少し、r=1の平均約1300からr=10の約600に低下する。r=15を過ぎてもさらなる改善はほとんど見られない。
• 主成分数がデータ駆動型ルールにより自動的に選ばれた場合、MSEはr=10と同等の水準に達するが、やや高いばらつきを示す。これは実用的応用におけるロバストネスを示している。