[論文レビュー] High-dimensional Imputation for the Social Sciences: a Comparison of State-of-the-art Methods

Edoardo Costantini, Kyle M. Lang+2 more|arXiv (Cornell University)|Aug 29, 2022

Statistical Methods and Bayesian Inference被引用数 5

ひとこと要約

本研究では、社会科研究における欠損値をもつデータの最適な予測子選択および次元削減戦略を特定するために、7つの高次元多重代入（MI）手法を評価する。シミュレーションおよび実際の調査データを用いて、lassoに基づく選択、前向き選択、および主成分分析（PCA）に基づく次元削減が、最も正確で効率的なパラメータ推定をもたらすことが判明。MI-PCAは性能と計算速度のバランスが最も優れている。

ABSTRACT

Including a large number of predictors in the imputation model underlying a multiple imputation (MI) procedure is one of the most challenging tasks imputers face. A variety of high-dimensional MI techniques can help, but there has been limited research on their relative performance. In this study, we investigated a wide range of extant high-dimensional MI techniques that can handle a large number of predictors in the imputation models and general missing data patterns. We assessed the relative performance of seven high-dimensional MI methods with a Monte Carlo simulation study and a resampling study based on real survey data. The performance of the methods was defined by the degree to which they facilitate unbiased and confidencevalid estimates of the parameters of complete data analysis models. We found that using lasso penalty or forward selection to select the predictors used in the MI model and using principal component analysis to reduce the dimensionality of auxiliary data produce the best results.

研究の動機と目的

• 高次元多重代入（MI）手法の相対的な性能を社会科研究において評価すること。
• さまざまな欠損データパターン下で、最も正確で効率的なパラメータ推定をもたらす予測子選択および次元削減技術を特定すること。
• 社会科学的文脈における現代的高次元MI手法間の実証的比較の不足に対処すること。
• 多数の予測子を扱う際の効果的な代入モデルの選定に関する研究者への実用的ガイダンスを提供すること。
• 正則化やPCAなどの手法的選択が、MI推定の妥当性および精度に与える影響を評価すること。

提案手法

• 制御された欠損データメカニズムと変動する予測子次元を有するモンテカルロ・シミュレーション研究を実施。
• 欧州価値調査（EVS）の実データを用いたリサンプリング研究を行い、現実的な社会科学研究の文脈での発見の妥当性を検証。
• 7つの高次元MI手法を評価：lassoを用いたMI、前向き選択、リッジ回帰、CART、ランダムフォレスト、主成分回帰、およびMI-PCA。
• 複数の代入済みデータセットからの推定値を統合するためにルービンのルールを適用し、パラメータ推定のバイアスおよびカバレッジを評価。
• MI-PCAにおいて、補助変数の次元削減としてPCAを適用し、合計分散の50％を説明する成分を保持。
• 相対的バイアス、カバレッジ、パラメータ推定の平均二乗誤差などの指標を用いて、各手法のパフォーマンスを比較。

実験結果

リサーチクエスチョン

• RQ1 社会科学データに欠損値が存在する状況下で、どの高次元代入手法が回帰パラメータ推定において最も不偏的となるか？
• RQ2 lasso や前向き選択といった正則化手法と、木構造ベースの手法（例：CART やランダムフォレスト）とを比較した場合、推定の正確性および効率性にどのような差が生じるか？
• RQ3 主成分分析（PCA）による次元削減は、高次元設定下での代入パフォーマンスにどの程度向上効果をもたらすか？
• RQ4 精度と計算速度の両面からMI-PCAは他の手法と比較してどの程度優れているか？
• RQ5 代入モデルに補助変数を含めるか否かが、パラメータ推定のバイアスおよびカバレッジに与える影響はいかほどか？

主な発見

• 代入モデルにおけるlassoに基づく予測子選択および前向き選択が、あらゆるシミュレーション条件下で最も正確でバイアスの小さいパラメータ推定をもたらした。
• MI-PCAにおける主成分分析（PCA）に基づく次元削減が、特に多数の補助変数を含む高次元設定下で、最も効率的かつ正確な推定を実現した。
• MI-PCAは他の手法と比較して優れた計算速度を示し、大規模な社会科学データセットにおいて最も実用的な選択肢となった。
• 非監視型次元削減（例：古典的PCA）を用いる手法は、補助変数が欠損の強力な予測子である場合にのみ良好なパフォーマンスを示したが、予測子が弱い場合には性能が低下した。
• ベイジアンリッジ回帰は低次元設定（n ≫ p）では優れた代替手法であったが、次元が増加するにつれて効果が薄れた。
• 分析モデルの変数およびその変換を代入モデルに含めることで、バイアスが著しく低減され、カバレッジが向上した。これは、モデルの整合性の原則を支持する結果であった。