[論文レビュー] Multiple Imputation with Denoising Autoencoder using Metamorphic Truth and Imputation Feedback

Haw-minn Lu, Giancarlo Perrone+1 more|arXiv (Cornell University)|Feb 19, 2020

Face and Expression Recognition参考文献 11被引用数 9

ひとこと要約

本稿では、欠損データにおけるバイアスを低減し、統計的関係を保持するために、メタモーフィック・トゥルースとインピュテーション・フィードバックで強化されたノイズ除去オートエンコーダーを用いた複数代入手法を提案する。この手法は、多様な欠損メカニズムにおいて、標準的なDAE、MICE、および平均代入法を上回り、平均二乗誤差と共分散ドリフトの両方を最小化する。

ABSTRACT

Although data may be abundant, complete data is less so, due to missing columns or rows. This missingness undermines the performance of downstream data products that either omit incomplete cases or create derived completed data for subsequent processing. Appropriately managing missing data is required in order to fully exploit and correctly use data. We propose a Multiple Imputation model using Denoising Autoencoders to learn the internal representation of data. Furthermore, we use the novel mechanisms of Metamorphic Truth and Imputation Feedback to maintain statistical integrity of attributes and eliminate bias in the learning process. Our approach explores the effects of imputation on various missingness mechanisms and patterns of missing data, outperforming other methods in many standard test cases.

研究の動機と目的

• 初期代入による統計的関係の歪みが原因で生じる深層学習ベースの代入手法におけるバイアスを是正すること。
• 過去の代入からのフィードバック統合と動的トゥルース信号を用いた学習誘導により、複数代入の性能を向上させること。
• MCAR、MAR、MNARの欠損状況下でも、特に共分散構造を含むデータ属性の統計的整合性を維持すること。
• 標準化された指標を用いて、複数の欠損パターン（ランダム、一様）とメカニズムを評価すること。
• ニューラルネットワークベースの代入が、MICEのような伝統的手法と同等またはそれを上回るデータ関係の保持を実現できることを示すこと。

提案手法

• 入力に50%のドロップアウトを適用し、7層構造（Θ=7で幅を増加・減少）を持つノイズ除去オートエンコーダー（DAE）を用いて、データ表現を学習する。
• メタモーフィック・トゥルースは、過去の代入の重み付き平均を用いて再構成のターゲットを動的に調整し、初期学習段階におけるバイアスを低減する。
• インピュテーション・フィードバックは、次第に改善された代入結果を用いて再トレーニングすることで、オートエンコーダーを段階的に精錬し、一般化性能を向上させる。
• 学習は500エポックで実施し、10エポックのプライミングと245ステップの2エポックごとのファインチューニングを組み合わせて学習の安定化を図る。
• 代入の前処理として、すべてのデータセットに正規化を適用し、公平な比較のためMICEの結果に対しても同一のスケーリングを適用する。
• 5つの代入（各手法ごとに）を生成し、RMS誤差と共分散ドリフトの指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 メタモーフィック・トゥルースとインピュテーション・フィードバックを統合したノイズ除去オートエンコーダーは、標準的なDAEおよびMICEと比較して、複数代入におけるバイアスを低減できるか？
• RQ2 本手法は、MCAR、MAR、MNARという異なる欠損メカニズムと、ランダムおよび一様な欠損パターンにおいて、どのように性能を発揮するか？
• RQ3 本手法は、代入後の変数間の共分散構造をどの程度保持できるか？
• RQ4 過去の代入からのフィードバック統合が、その後の再構成品質を向上させるか？
• RQ5 ニューラルネットワークベースの代入は、MICEが示すデータ関係の保持精度と同等またはそれを上回る性能を発揮できるか？

主な発見

• 標準的なDAE、MICE、および平均代入法と比較して、DAEにメタモーフィック・トゥルースとインピュテーション・フィードバックを統合したDAE MTは、すべてのデータセットおよび欠損状況で最小のRMS誤差を達成した。
• MNAR状況下では、DAE MTは平均して共分散ドリフトを0.4–0.6（×10）に低減した。これは、標準的なDAE（1.1–2.6 ×10）を著しく上回り、MICEの性能に近づいた。
• BHデータセットのMNAR条件下では、DAE MTの共分散ドリフトは0.6（0.6） ×10であったのに対し、標準的なDAEは1.1（1.2） ×10、MICEは0.4（0.5） ×10であった。
• SNデータセットでは、ランダム欠損状況下でDAE MTは共分散ドリフト0.5（0.5） ×10を達成した。これに対して、標準的なDAEは0.7（0.7） ×10、MICEは0.6（0.7） ×10であった。
• 本手法は、すべての欠損パターンおよびメカニズムにおいて優れた性能を維持し、RMS誤差と共分散保持性の両面で一貫した改善を示した。
• メタモーフィック・トゥルースの導入により、初期代入によるバイアスが顕著に低減された。特に、標準的なDAEが関係性を保持できなかったMNAR状況下で顕著であった。