[論文レビュー] Evaluating the Impact of Missing Data Imputation through the use of the Random Forest Algorithm

Adam Pantanowitz, Tshilidzi Marwala|arXiv (Cornell University)|Dec 12, 2008

Bayesian Methods and Mixture Models参考文献 24被引用数 12

ひとこと要約

本研究では、2001年の妊婦健診調査から得られたHIV血清学的有病率データを用いて、欠損データ補完手法の評価が行われた。ランダムフォレストは、他の手法と比較して精度と計算時間の両面で優れており、自己符号化ネットワークと比較して補完精度を最大32%向上させた。一方、ハイブリッドモデルはニューラルネットワーク部の性能と不安定性によって制限を受けていた。

ABSTRACT

This paper presents an impact assessment for the imputation of missing data. The data set used is HIV Seroprevalence data from an antenatal clinic study survey performed in 2001. Data imputation is performed through five methods: Random Forests, Autoassociative Neural Networks with Genetic Algorithms, Autoassociative Neuro-Fuzzy configurations, and two Random Forest and Neural Network based hybrids. Results indicate that Random Forests are superior in imputing missing data in terms both of accuracy and of computation time, with accuracy increases of up to 32% on average for certain variables when compared with autoassociative networks. While the hybrid systems have significant promise, they are hindered by their Neural Network components. The imputed data is used to test for impact in three ways: through statistical analysis, HIV status classification and through probability prediction with Logistic Regression. Results indicate that these methods are fairly immune to imputed data, and that the impact is not highly significant, with linear correlations of 96% between HIV probability prediction and a set of two imputed variables using the logistic regression analysis.

研究の動機と目的

• 欠損データ補完が公衆衛生データセットにおける後続の統計的分析および予測モデリングに与える影響を評価すること。
• ランダムフォレスト、自己符号化ニューラルネットワーク、ニューロファジ、ハイブリッドモデルを含む、複数の補完手法の性能を比較すること。
• 補完データがロジスティック回帰、分類、統計的推論の結果に顕著に影響を与えるかどうかを評価すること。
• 異なる補完手法間における計算効率と精度のトレードオフを特定すること。
• 現実の健康データに欠損値を含む状況において、最も頑健で効果的な補完戦略を同定すること。

提案手法

• 5つの補完手法を適用：ランダムフォレスト、遺伝的アルゴリズムを用いた自己符号化ニューラルネットワーク、自己符号化ニューロファジ設定、およびランダムフォレストとニューラルネットワークを組み合わせた2つのハイブリッドモデル。
• 2001年の妊婦健診調査から得られたHIV血清学的有病率データを、欠損値を含む現実世界のデータセットとして使用した。
• 複数の変数において、精度指標と計算時間を用いて補完性能を評価した。
• 3つの後続分析を通じて補完データの影響をテストした：統計的分析、HIV状態分類、確率予測のためのロジスティック回帰。
• 予測されたHIV確率と補完された変数との相関を測定し、モデルの安定性および補完への感受性を評価した。
• 線形相関（R²）を用いて、補完データと最終予測との関係を定量化した。96%の相関は、補完手法の選択に対する感受性が低いことを示した。

実験結果

リサーチクエスチョン

• RQ1 補完手法の選択が、欠損データ回復の精度と計算効率にどのように影響を与えるか。
• RQ2 補完データが統計的分析、分類、ロジスティック回帰モデルの結果にどの程度影響を与えるか。
• RQ3 ランダムフォレストとニューラルネットワークを組み合わせたハイブリッドモデルは、単独の手法と比較して補完性能でどのように差がつくか。
• RQ4 特に公衆衛生データセットにおいて、ロジスティック回帰の予測が補完データの変動に対してどの程度感受性を示すか。
• RQ5 複数の評価基準にわたって、最も頑健で信頼性の高い結果をもたらす補完手法は何か。

主な発見

• ランダムフォレストは、特定の変数において自己符号化ネットワーク手法と比較して最大32%の精度向上を達成し、最高の補完精度を示した。
• ランダムフォレストは計算効率の面でも優れており、大規模または時間制限のある応用においても実用的であった。
• ニューラルネットワークを組み込んだハイブリッドモデルは有望ではあったが、ニューラルネットワーク部の性能と不安定性によって顕著に制限を受けていた。
• 統計的検定、分類、ロジスティック回帰といった後続分析は、補完手法の選択に対してほとんど感受性を示さず、予測されたHIV確率と補完された変数との間に96%の線形相関が確認された。
• ロジスティック回帰の予測が補完の変動に対して頑健であるという事実は、不完全な補完であってもモデルの結果が安定していることを示している。
• 全体として、ランダムフォレストは、このHIV血清学的有病率データセットにおける欠損データ補完の観点で、最も効果的かつ信頼性の高い手法として浮き彫りになった。