[論文レビュー] Multiple Imputation of Missing Values in Household Data with Structural Zeros

Olanrewaju Akande, Jerome P. Reiter+1 more|arXiv (Cornell University)|Jul 19, 2017

Bayesian Methods and Mixture Models参考文献 15被引用数 4

ひとこと要約

本稿では、構造的ゼロ（例：年齢制約）を含む世帯調査データの多重代入法を提案する。この手法は、製品の多項分布の入れ子構造ディリクレ過程混合モデル（NDPMPM）を用い、ギブスサンプリングと拒否サンプリングを組み合わせて、欠損値を処理する。このアプローチにより、多次元的依存関係を保持するとともに、不可能な世帯構成（例：親より年下の子供）がゼロ確率となるように保証され、適切な不確実性伝搬を伴う正確な代入が達成される。

ABSTRACT

We present an approach for imputation of missing items in multivariate categorical data nested within households. The approach relies on a latent class model that (i) allows for household level and individual level variables, (ii) ensures that impossible household configurations have zero probability in the model, and (iii) can preserve multivariate distributions both within households and across households. We present a Gibbs sampler for estimating the model and generating imputations. We also describe strategies for improving the computational efficiency of the model estimation. We illustrate the performance of the approach with data that mimic the variables collected in typical population censuses.

研究の動機と目的

• 構造的ゼロ（例：年齢制約）を尊重しなければならない多次元的カテゴリカルな世帯データにおける欠損値の代入の課題に対処すること。
• 代入の過程で、世帯内および世帯間の複雑な多次元的関連性を保持すること。
• 多重代入を通じた適切な不確実性の定量化を実現し、妥当な下流の推論を可能にすること。
• 大規模な欠損値を含む世帯データに対するNDPMPMモデルの計算効率を向上させること。
• モデルの妥当性を保ちつつ実行時間を短縮するMCMC推定のスケーラブルな戦略を開発すること。

提案手法

• 世帯レベルおよび個人レベルのカテゴリカル変数の同時分布をモデリングするために、入れ子構造ディリクレ過程混合の製品の多項分布（NDPMPM）を用いる。
• ギブスサンプラーを拡張し、拒否サンプリング手順を追加して、家族内の年齢不等式などの構造的ゼロ制約を満たす代入を生成する。
• 尤度関数にキャップ＆ウェイト近似を適用することで、計算効率を向上させつつ精度を損なわないようにする。
• 世帯主のデータを世帯レベルの変数に変換することで、モデルの複雑さを低減し、MCMC収束を加速する。
• バーンイン後のスプライシングと収束モニタリングを実施し、MCMCサンプルからの信頼性のある後方分布推論を保証する。
• 多重代入推論のため、事後予測分布から50個の完全なデータセットを生成する。

実験結果

リサーチクエスチョン

• RQ1 拒否サンプリングを用いたNDPMPMモデルは、構造的ゼロ制約を満たしながら、世帯データの欠損値を効果的に代入できるか？
• RQ2 提案手法は、標準的手法と比較して、世帯内および世帯間の多次元的関連性をどの程度適切に保持できるか？
• RQ3 欠損値を含む世帯データにNDPMPMを適用する際の計算上のボトルネックは何か。また、それらはどのように緩和できるか？
• RQ4 複雑な世帯構成において、代入された分布が元のデータの真の同時分布とどの程度一致するか？
• RQ5 スケーラブルな近似（キャップ＆ウェイト、変数再定義）を用いることで、計算時間の短縮を達成しながらも精度は維持されるか？

主な発見

• 拒否サンプリングを用いたNDPMPMは、世帯データにおける多次元的関連性を効果的に保持しており、元の完全データからの周辺確率、2変量確率、3変量確率とほぼ一致する。
• この手法は構造的ゼロ制約を効果的に強制し、子供が生物学的親より年下であるような不可能な構成がゼロ確率となるように保証している。
• キャップ＆ウェイト近似と世帯レベルの変数変換により、MCMCの実行時間が顕著に短縮されつつ、代入された分布の精度は高い水準を維持している。
• MCAR状況で欠損率が低い場合、NDPMPMによる代入の95％信頼区間は真の母集団値をよく含んでおり、信頼性の高い不確実性の定量化が達成されている。
• 強力な性能を示したが、特に大規模な世帯において、同族の世帯の割合の推定にわずかな下方バイアスが見られた。これは、複雑な人種的構造の代入において依然として課題が残っていることを示唆している。
• 結果から、拒否サンプリングと計算最適化を組み合わせたNDPMPMは、構造的制約を伴う国勢調査および調査データにおける多重代入の強固でスケーラブルなソリューションであると示された。