[論文レビュー] Multiple Imputation Through XGBoost

Yongshi Deng, Thomas Lumley|arXiv (Cornell University)|Jun 3, 2021

Statistical Methods and Bayesian Inference参考文献 20被引用数 6

ひとこと要約

本論文では、XGBoost、サブサンプリング、予測平均マッチングを用いたスケーラブルな複数代入フレームワークである mixgb を提案する。大規模で複雑なデータ構造を有するデータセットに対応でき、代入精度と計算効率に優れ、特にGPUアクセラレーションを活用した場合、mice-cart や mice-ranger といった従来手法を上回る性能を発揮する。バイアスと分散の両面で優れており、統計的妥当性を維持している。

ABSTRACT

The use of multiple imputation (MI) is becoming increasingly popular for addressing missing data. Although some conventional MI approaches have been well studied and have shown empirical validity, they have limitations when processing large datasets with complex data structures. Their imputation performances usually rely on the proper specification of imputation models, which requires expert knowledge of the inherent relations among variables. Moreover, these standard approaches tend to be computationally inefficient for medium and large datasets. In this paper, we propose a scalable MI framework mixgb, which is based on XGBoost, subsampling, and predictive mean matching. Our approach leverages the power of XGBoost, a fast implementation of gradient boosted trees, to automatically capture interactions and non-linear relations while achieving high computational efficiency. In addition, we incorporate subsampling and predictive mean matching to reduce bias and better account for appropriate imputation variability. The proposed framework is implemented in an R package mixgb. Supplementary materials for this article are available online.

研究の動機と目的

• 大規模なデータセットに複雑な非線形関係が存在する場合に、従来の複数代入（MI）手法が抱える限界を克服すること。
• 非線形効果や相互作用を自動で捉えられるスケーラブルで自動化されたMIフレームワークを構築すること。
• 中規模および大規模なデータセットにおける計算効率を向上させ、従来のMI手法が実用的でなくなる状況を改善すること。
• サブサンプリングと予測平均マッチング（PMM）を組み合わせることで、代入バイアスを低減し、不確実性をより適切に表現すること。
• XGBoostを用いた代入手法の性能を、mice-cart や mice-ranger といった標準的手法と比較し、バイアス、分散、実行時間の観点から評価すること。

提案手法

• フレームワークは、XGBoost を用いて欠損変数の条件付き分布をモデル化し、明示的なモデル指定なしに非線形性や相互作用を自動的に捉える。
• 訓練中にサブサンプリングを適用することで過学習を軽減し、代入のばらつきを増加させ、不確実性の表現を向上させる。
• 予測平均マッチング（PMM）を用いて類似した観測事例から代入値を生成することで、データの分布的性質を保持する。
• 反復処理を必要としない非反復的手法であるが、mixgb Rパッケージでは複数反復を可能としており、CPUおよびGPUアクセラレーションに対応している。
• 変数を欠損度数の降順に並べ替え、順番に代入することで安定性を向上させ、誤差伝搬を低減する。
• 実装はCRANおよびGitHubに公開されており、Rパッケージ（mixgb）として提供され、CPUおよびGPU実行をサポートしている。

実験結果

リサーチクエスチョン

• RQ1 XGBoostを用いた代入にサブサンプリングとPMMを組み合わせることで、複雑なデータ構造において、標準的手法よりも低いバイアスとより優れた分散推定が達成できるか？
• RQ2 mixgb の計算パフォーランスは、データセットサイズの増加に伴い、mice-cart や mice-ranger と比較してどのようにスケーリングするか？
• RQ3 XGBoost代入にサブサンプリングを組み込むことで、代入のばらつきが向上し、過学習が低減するか？
• RQ4 mixgb は、mice-ranger や mice-cart と比較して、推定精度と不確実性の表現において優れているか？
• RQ5 GPUアクセラレーションは、特に大規模データセットにおいて、mixgb の実行時間にどのような影響を与えるか？

主な発見

• mixgb-sub（サブサンプリングを適用）は、すべてのシミュレーションシナリオにおいて平均バイアスが最低であり、mice-default、mice-cart、mice-ranger を上回った。
• mixgb-sub は、最も優れた代間分散を示し、不確実性の定量化が優れていることを示した。
• mixgb-gpu バージョンは、全体として最も高速であり、特に大規模データセットにおいて顕著な性能を発揮した。GPUを用いる場合、サブサンプリングによる性能劣化はほとんど見られなかった。
• 小規模データセットでは mixgb-cpu は mice-ranger よりも遅かったが、大規模データセットでは mixgb-gpu が速度面で mice-ranger を上回った。
• MARメカニズム下でも、欠損率が高い状況においても、完全ケース分析が失敗する中で、高い代入品質を維持した。
• 結果から、mixgb-sub-gpu は、精度、低バイアス、高い計算効率のバランスを備えており、大規模で複雑なデータセットに対して最適な選択肢であると示唆された。