[論文レビュー] MIDA: Multiple Imputation using Denoising Autoencoders

Lovedeep Gondara, Ke Wang|arXiv (Cornell University)|May 8, 2017

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 10

ひとこと要約

本稿では、多様なデータ型、欠損パターン、欠損割合に対応するため、過剰なノイズ除去オートエンコーダーを用いた複数代入フレームワークMIDAを提案する。ノイズの多い入力（欠損値を含む）を用いて訓練し、ランダムな重み初期化を繰り返して複数の代入を生成することで、MICEなどの最先端手法よりも代入精度と最終段階の分析性能が優れている。特にMNAR機構や低データレジームにおいて顕著な優位性を示す。

ABSTRACT

Missing data is a significant problem impacting all domains. State-of-the-art framework for minimizing missing data bias is multiple imputation, for which the choice of an imputation model remains nontrivial. We propose a multiple imputation model based on overcomplete deep denoising autoencoders. Our proposed model is capable of handling different data types, missingness patterns, missingness proportions and distributions. Evaluation on several real life datasets show our proposed model significantly outperforms current state-of-the-art methods under varying conditions while simultaneously improving end of the line analytics.

研究の動機と目的

• 複数代入における適切な代入モデルの選択という課題に取り組むこと。これは、データ型、分布、欠損パターンの制約のため、非自明である。
• 変数間の依存関係を保持し、混合データ型および複雑な非線形関係を扱える深層学習ベースの代入手法を開発すること。
• 実世界の応用において一般的な制限である、完全な訓練データを必要としない効果的な代入を可能にすること。
• 構造的整合性と予測力が保たれた代入データセットを生成することで、下流の分析性能を向上させること。
• 特にMNARを含むさまざまな欠損メカニズムにおけるロバストネスを評価すること。これは、既存の手法にとって挑戦的な課題である。

提案手法

• MIDAは、欠損値を含む入力をノイズの多い入力として扱う、過剰なノイズ除去オートエンコーダー（DAE）をコアな代入モデルとして採用する。
• DAEは、欠損値をノイズとして模倣した入力から元のデータを再構築するように訓練され、変数間の依存関係を捉える潜在表現を学習する。
• 異なるランダムな重み初期化を繰り返し、再訓練することで、代入プロセスにおける不確実性を反映した複数の代入が生成される。
• 観測値における平均二乗誤差損失を用いて、バックプロパゲーションによるエンドツーエンドの訓練が行われ、適切な前処理および出力層設計により混合データ型を扱える。
• 代入は、不完全なデータを訓練済みのDAEに通すことで実行され、欠損値を含む完全なデータベクトルが再構築される。
• 本手法は完全なデータセットを訓練に要しないため、完全観測が限られている現実世界のシナリオに適している。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの代入モデルは、MICEなどの従来手法よりも多様なデータ型および欠損パターンにおいて優れた性能を示せるか？
• RQ2 MIDAフレームワークは、既存の代入モデルが困難に感じる欠損がランダムでない（MNAR）メカニズム下でどのように性能を発揮するか？
• RQ3 MIDAは、変数間の相関関係やデータの構造的関係をどの程度保持できるか。これにより、下流の分析性能が向上するか？
• RQ4 MIDAは、小さなサンプルサイズ下でも高い代入精度を達成できるか。これは、深層学習モデルにとっての知られざる課題である。
• RQ5 MIDAを用いた複数代入は、単一代入や他の複数代入手法と比較して、最終段階の分析における予測性能を向上させられるか？

主な発見

• MIDAはMICEを著しく上回る代入精度を示し、テスト済みの85％のデータセットで平均誤差比（ER）が1未満である。これは優れた性能を示している。
• 40％および60％の欠損割合においても一貫した性能を維持しており、高い欠損率下でもロバストであることを示している。
• MNAR一様欠損の場合、MIDAはMICEよりも高い分類精度と低いRMSEを達成し、MNAR一様データセットでは平均9.4％の精度向上を達成した。
• 最終段階の分析において、MIDAは15のデータセットのうち12で予測性能を向上させ、特にMNAR一様メカニズム下で最大の向上が観察された。
• MICEが完全に失敗したデータセットVWに対してもMIDAは正常に代入を実行し、高い欠損率と複雑なパターンを有する困難なシナリオでも信頼性があることを示している。
• 完全な訓練データがなくても、構造的整合性が効果的に保持されており、相関の忠実度が高く、下流モデルの性能も優れている。