[論文レビュー] Who wins the Miss Contest for Imputation Methods? Our Vote for Miss BooPF

Burim Ramosaj, Markus Pauly|arXiv (Cornell University)|Nov 30, 2017

Statistical Methods and Inference参考文献 19被引用数 4

ひとこと要約

本稿では、確率的勾配木ブースティング（S.GBM）とパラメトリックブートストラップ付きランダムフォレストを組み合わせた新しい補完手法Miss BooPFを提案する。MCAR、MAR、MNARの欠損メカニズムの下で、連続変数、カテゴリカル変数、混合型データのあらゆるデータタイプにおいて、既存手法（missForest や MICE など）を上回る高い精度を達成した。本手法は、高度なリサンプリングおよびブースティング戦略を活用することで補完性能を向上させ、合成データおよび実世界のデータセットにおいて一貫した改善効果を示した。

ABSTRACT

Missing data is an expected issue when large amounts of data is collected, and several imputation techniques have been proposed to tackle this problem. Beneath classical approaches such as MICE, the application of Machine Learning techniques is tempting. Here, the recently proposed missForest imputation method has shown high imputation accuracy under the Missing (Completely) at Random scheme with various missing rates. In its core, it is based on a random forest for classification and regression, respectively. In this paper we study whether this approach can even be enhanced by other methods such as the stochastic gradient tree boosting method, the C5.0 algorithm or modified random forest procedures. In particular, other resampling strategies within the random forest protocol are suggested. In an extensive simulation study, we analyze their performances for continuous, categorical as well as mixed-type data. Therein, MissBooPF, a combination of the stochastic gradient tree boosting method together with the parametrically bootstrapped random forest method, appeared to be promising. Finally, an empirical analysis focusing on credit information and Facebook data is conducted.

研究の動機と目的

• パラメトリックな仮定が成り立たない複雑で混合型のデータセットにおける欠損値補完の精度を向上させること。
• S.GBM や改変されたランダムフォレストといった高度な木ベースの手法が、missForest や MICE といった標準的手法を上回るかどうかを評価すること。
• 特にパラメトリックブートストラップを含む代替リサンプリング戦略が、ランダムフォレストフレームワーク内での補完性能に与える影響を調査すること。
• MCAR、MAR、MNARのさまざまな欠損メカニズムに適応可能な、強固で柔軟な補完フレームワークの開発と検証すること。
• 合成シミュレーションおよびクレジット・Facebookデータにおける実証的分析を通じて、Miss BooPFの優位性を示すこと。

提案手法

• 連続および分類タスクにおける回帰に適した確率的勾配木ブースティング（S.GBM）と、推定の改善に寄与するパラメトリックブートストラップ付きランダムフォレスト（Kernel RF）を統合したハイブリッド補完手法であるMiss BooPFを提案する。
• 訓練データのリサンプリングにパラメトリックブートストラップアプローチを採用し、計算コストを低減するとともに、特に大規模データセットにおいても分布の性質を保持する。
• MICEと同様のサイクル的補完プロトコルを採用するが、連鎖方程式（chained equations）の代わりに木ベースのモデルを用いることで、パラメトリックな仮定を必要とせず、混合型データを処理可能にする。
• 高次元かつ非線形なデータ構造において予測精度を最適化する目的で、S.GBMを用いて段階的な木のブースティングを実行する。
• 変数の種別（連続 vs. カテゴリカル）に応じて、Kernel RF と S.GBM のどちらを適用するかをデータ適応的に選択する戦略を採用し、モデルの特異性を高める。
• 訓練データを推定されたブートストラップパラメータに圧縮する新しいリサンプリングスケジュールを実装し、従来の非パラメトリックリサンプリングと比較してメモリおよび時間的オーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 混合型データ設定において、標準的なランダムフォレストベースの手法（例：missForest）と比較して、確率的勾配木ブースティング（S.GBM）が補完精度を向上させることができるか？
• RQ2 ランダムフォレスト補完フレームワーク内において、従来の非パラメトリックリサンプリングと比較して、パラメトリックブートストラップは補完精度および計算効率において優れているか？
• RQ3 MCAR、MAR、MNARのさまざまな欠損メカニズム下で、MICE や missForest といった既存手法と比較して、Miss BooPF は優れた性能を示すか？
• RQ4 異なるリサンプリングおよびブースティング戦略を用いた場合、連続変数、カテゴリカル変数、混合型変数における補完性能はどのように変化するか？
• RQ5 Kernel RF と S.GBM を統合したハイブリッドアプローチが、合成データおよび実世界のデータセットの両方で一貫した改善を達成できるか？

主な発見

• Miss BooPFは、すべてのデータタイプおよび欠損メカニズムにおいて、NRMSE（正規化済み平均二乗誤差）の観点で、missForest や MICE といったベンチマーク手法を顕著に上回った。
• 連続変数の分野では、正規分布でない分布下でも、missForest と比較してNRMSEが低く抑えられ、分布の逸脱に対しても頑健であることが示された。
• 度数に偏りのあるカテゴリカル変数に対しては、Miss BooPFにおけるS.GBMベースの補完が、missForest よりも高い分類精度を達成した。
• Miss BooPFにおけるパラメトリックブートストラップ戦略は、標準的な非パラメトリックリサンプリングと比較して、計算コストを低減しながらも、補完精度を維持または向上させた。
• クレジットおよびFacebookデータに対する実証的分析から、特に高次元で混合型のデータ構造において、Miss BooPFがベースライン手法よりもより正確な補完を提供することが確認された。
• Miss BooPFのハイブリッド設計（連続変数にKernel RF、カテゴリカル変数にS.GBMを適用）は、多様なデータ構造に適応可能であり、効果的であることが実証された。