[論文レビュー] HyperImpute: Generalized Iterative Imputation with Automatic Model Selection

Daniel Jarrett, Bogdan Cebere+3 more|arXiv (Cornell University)|Jun 15, 2022

Machine Learning in Healthcare被引用数 23

ひとこと要約

HyperImpute は、自動的に列ごとのモデルとハイパーパラメータを構成する一般化された反復補完フレームワークを導入し、反復補完ループ内でモデルを選択する AutoML を統合します。 MAR 設定下で従来のベンチマークに対して強い実証的な利得を示します。

ABSTRACT

Consider the problem of imputing missing values in a dataset. One the one hand, conventional approaches using iterative imputation benefit from the simplicity and customizability of learning conditional distributions directly, but suffer from the practical requirement for appropriate model specification of each and every variable. On the other hand, recent methods using deep generative modeling benefit from the capacity and efficiency of learning with neural network function approximators, but are often difficult to optimize and rely on stronger data assumptions. In this work, we study an approach that marries the advantages of both: We propose *HyperImpute*, a generalized iterative imputation framework for adaptively and automatically configuring column-wise models and their hyperparameters. Practically, we provide a concrete implementation with out-of-the-box learners, optimizers, simulators, and extensible interfaces. Empirically, we investigate this framework via comprehensive experiments and sensitivities on a variety of public datasets, and demonstrate its ability to generate accurate imputations relative to a strong suite of benchmarks. Contrary to recent work, we believe our findings constitute a strong defense of the iterative imputation paradigm.

研究の動機と目的

• MCAR/MAR 設定の下で補完問題を動機付け、形式化し、既存手法の限界を強調する。
• 列ごとのモデルとハイパーパラメータを自動的に選択する一般化された反復補完を提案する。
• すぐに使える学習器、最適化アルゴリズム、シミュレータ、インターフェースを備えた実践的で拡張可能な実装を提供する。
• 多様なデータセットと欠損メカニズムにわたり、強力なベンチマークに対して HyperImpute を実証的に評価する。

提案手法

• 欠損マスクを用いて不完全データと補完問題を形式化する。
• 各列ごとに一変量モデルとハイパーパラメータの空間を探索する一般化された反復補完を導入する。
• 反復ループ内で列ごとにモデル/ハイパーパラメータを選択する自動モデル選択（AutoML）を開発する（Inside-Out Search）。
• プラグアンドプレー学習器、最適化アルゴリズム（例: Hyperband）、および sklearn パイプラインと互換性のある補完器を備えた実践的な実装を提供する。
• UCI データセットを対象に MAR 下で（付録の追加設定を含む）広範な実験を実施し、ICE、MissForest、GAIN、MIWAE、Sinkhorn、MIRACLE などの最先端ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 MAR 設定下で自動モデル選択付きの反復補完は、複雑な生成モデルを上回ることができるか。
• RQ2 適応的な自動選択を伴う列ごとのモデリングは補完精度と分布忠実性を改善するか。
• RQ3 HyperImpute における性能向上の要因は何か（列ごとの指定、モデル選択、適応性、ベース学習器）？
• RQ4 HyperImpute は反復とデータセット全体でどのように収束し、どのように振る舞うか？
• RQ5 HyperImpute は異なる欠損メカニズム（MCAR/MAR、付録内の一部 MNAR 分析を含む）およびさまざまなデータセット特性に対して頑健か？

主な発見

• HyperImpute は MAR 下で 12 データセット中 10 件の UCI データセットでベンチマークを上回り、RMSE および Wasserstein 距離の両方で 30% の欠損に対して優れる。
• 感度分析全体で、サンプル数と特徴量が増えると HyperImpute の性能優位性が拡大する。
• MAR 設定で基準法より Wasserstein 距離が低く、分布忠実性が向上していることを示す。
• モデル選択は、データセットと反復を通じて多様な学習器が選択されることを示しており、適応的な列ごとの構成を示している。
• Inside-Out 探索戦略は過度な計算資源を要することなく自動モデル選択を可能にし、反復補完の利点を維持する。