[論文レビュー] Comparison of Data Imputation Techniques and their Impact

Darren Blend, Tshilidzi Marwala|ArXiv.org|Dec 8, 2008

Data Mining Algorithms and Applications参考文献 14被引用数 8

ひとこと要約

本稿は、欠損値を補完するための自己符号化ニューラルネットワーク（NN）、ニューロファジィ（NF）システム、およびハイブリッドNN-NF手法を、8カテゴリーの産前調査とPCA条件下で評価している。NN手法はNFより平均5.8%高い性能を示すが、ハイブリッド手法は15.9%高い正確性を達成するが、計算効率は50%低い。一方、補完されたデータはPCAの関係性を顕著に変化させ、標準偏差を平均36.7%低減させるため、結果の解釈を誤るおそれがある。

ABSTRACT

Missing and incomplete information in surveys or databases can be imputed using different statistical and soft-computing techniques. This paper comprehensively compares auto-associative neural networks (NN), neuro-fuzzy (NF) systems and the hybrid combinations the above methods with hot-deck imputation. The tests are conducted on an eight category antenatal survey and also under principal component analysis (PCA) conditions. The neural network outperforms the neuro-fuzzy system for all tests by an average of 5.8%, while the hybrid method is on average 15.9% more accurate yet 50% less computationally efficient than the NN or NF systems acting alone. The global impact assessment of the imputed data is performed by several statistical tests. It is found that although the imputed accuracy is high, the global effect of the imputed data causes the PCA inter-relationships between the dataset to become altered. The standard deviation of the imputed dataset is on average 36.7% lower than the actual dataset which may cause an incorrect interpretation of the results.

研究の動機と目的

• 欠損値を含む実世界の調査データに対して、自己符号化ニューラルネットワーク、ニューロファジィシステム、およびハイブリッド補完手法の性能を評価すること。
• 補完されたデータが主成分分析（PCA）の関係性および統計的解釈に与える全体的影響を評価すること。
• さまざまな補完手法間の正確性と計算効率のトレードオフを特定すること。
• 高い補完正確性が、次元削減の文脈において特にPCAのような手法で信頼できる後続の統計分析をもたらすかどうかを調査すること。

提案手法

• 研究では、自己符号化ニューラルネットワークを用いて、既知のデータパターンを学習し、欠損値を再構築する。
• ニューロファジィシステムは、ニューラルネットワークの学習原理を用いて訓練されたファジィ推論システムを通じて補完をモデル化する。
• ハイブリッド手法は、自己符号化ニューラルネットワークとニューロファジィシステムをホットデッキ補完と組み合わせ、正確性を向上させる。
• 各手法の性能は、元のデータおよびPCA変換済みデータの両条件下で、8カテゴリーの産前調査データセットを用いて評価された。
• 補完正確性の比較および補完データがPCAから得られる相関関係に与える影響を評価するために、統計的検定が用いられた。
• 補完データセットの標準偏差を元のデータセットと比較し、データ変動性への歪みを定量化した。

実験結果

リサーチクエスチョン

• RQ1 自己符号化ニューラルネットワーク、ニューロファジィシステム、およびそれらのハイブリッド組み合わせは、実際の調査データセットにおける補完正確性において、どのように性能を発揮するか？
• RQ2 個々の手法とハイブリッド手法との間で、計算効率のトレードオフはどの程度か？
• RQ3 データ補完は、主成分分析によって明らかにされる変数間の関係性に、どの程度影響を及えるか？
• RQ4 補完データセットの標準偏差は、元のデータセットと比較してどの程度異なるか。また、統計的解釈にどのような影響を及えるか？
• RQ5 高い補完正確性が、PCAのような次元削減手法における信頼できる後続の統計分析を保証するのか？

主な発見

• 自己符号化ニューラルネットワークは、全テスト条件においてニューロファジィシステムを平均5.8%高い正確性で上回った。
• ハイブリッドNN-NF手法は、単独の手法よりも15.9%高い正確性を達成したが、計算効率は50%低かった。
• 高い補完正確性にもかかわらず、補完データの全体的影響は、主成分分析における変数間の関係性を変化させた。
• 補完データセットの標準偏差は、元のデータセットと比較して平均36.7%低く、データ変動性に顕著な歪みが生じていることを示している。
• 標準偏差の低下は、後続の統計解析におけるデータパターンや関係性の誤った解釈を引き起こす可能性がある。
• 統計的検定により、補完データでさえ、正確であっても元のデータセットの真の構造を歪める可能性があることが確認された。特にPCAに基づく解析において顕著である。