[論文レビュー] Imputation for prediction: beware of diminishing returns

Marine Le Morvan, Gaël Varoquaux|arXiv (Cornell University)|Jul 29, 2024

Forecasting Techniques and ApplicationsDecision Sciences被引用数 3

ひとこと要約

本研究では、MCAR条件下での20のデータセットにおいて、改善された補完手法が予測性能を顕著に向上させるかを調査する。結果として、補完の正確性が重要であるものの、予測性能の向上は限定的であることが判明した—特に柔軟なモデルや欠損状況インジケータを用いる場合に顕著である。これは、より良い補完が常に予測性能を向上させるという一般的な仮定に疑問を呈するものである。

ABSTRACT

Missing values are prevalent across various fields, posing challenges for training and deploying predictive models. In this context, imputation is a common practice, driven by the hope that accurate imputations will enhance predictions. However, recent theoretical and empirical studies indicate that simple constant imputation can be consistent and competitive. This empirical study aims at clarifying if and when investing in advanced imputation methods yields significantly better predictions. Relating imputation and predictive accuracies across combinations of imputation and predictive models on 19 datasets, we show that imputation accuracy matters less i) when using expressive models, ii) when incorporating missingness indicators as complementary inputs, iii) matters much more for generated linear outcomes than for real-data outcomes. Interestingly, we also show that the use of the missingness indicator is beneficial to the prediction performance, even in MCAR scenarios. Overall, on real-data with powerful models, improving imputation only has a minor effect on prediction performance. Thus, investing in better imputations for improved predictions often offers limited benefits.

研究の動機と目的

• 改善された補完の正確性が、下流の予測性能に顕著な向上をもたらすかどうかを、実証的に評価すること。
• 欠損が完全にランダム（Missing Completely At Random: MCAR）な条件下での補完品質の影響を評価すること。この条件下では補完手法が理論的に妥当である。
• モデルの柔軟性、欠損状況インジケータ、および目的変数の線形性が、補完正確性と予測性能の関係にどのように影響を与えるかを調査すること。
• 現実の予測モデリングシナリオにおいて、高度な補完手法が意味のある利点を提供するかどうかを明らかにすること。
• 実務家が複雑な補完に投資するのではなく、モデリングの選択に集中すべきタイミングについて、実用的なインサイトを提供すること。

提案手法

• 本研究では、欠損率が20%および50%の変動を伴うMCAR欠損状況下で、20の実世界の数値データセットを評価する。
• 平均補完、missforest、iterativeBR、およびVAEやGANベースの補完器を含む高度な手法を含む、複数の補完手法の正確性を比較する。
• 予測モデルには線形モデル、XGBoost、ニューラルネットワークを用い、欠損状況インジケータ（欠損値を示すバイナリーフィーチャー）を含む・含まないの両方を検討する。
• 補完と予測のパイプラインを、すべてのモデルと補完手法の組み合わせに対して体系的に組み合わせ、交差検証によるハイパーパramータチューニングを実施する。
• 予測性能は回帰ではRMSE、分類ではAUCで測定する。補完の正確性はRMSEまたはMAEで評価する。
• モデル選択や欠損状況インジケータの有無を制御した上で、補完正確性の寄与を分離し、補完手法ごとの予測性能向上を比較する。

実験結果

リサーチクエスチョン

• RQ1 補完正確性の向上が、多様なデータセットやモデルにおいて顕著な予測性能の向上をもたらすか？
• RQ2 欠損状況インジケータの使用が、MCAR状況下でのより良い補完の利益にどのように影響するか？
• RQ3 線形の目的変数に対しては補完正確性と予測性能の関係が強いが、実世界の非線形関係を有するデータではその関係は弱くなるか？
• RQ4 モデルの表現力（例：XGBoostと線形モデルの比較）が、補完正確性の予測性能への影響にどのように作用するか？
• RQ5 補完正確性の向上が、常に予測性能の向上に結びつくのか、それとも相関は弱いか？

主な発見

• XGBoost やニューラルネットワークなどの強力で柔軟なモデルを用いる場合、補完正確性の向上は予測性能の向上にほとんど寄与しない。
• 欠損状況インジケータの導入は、欠損が無情報的であるMCAR設定下でも、予測性能を顕著に向上させる。これにより、高度な補完手法の効果的活用が可能になる。
• 線形に生成された目的変数では、より良い補完がより良い予測をもたらすが、非線形関係を有する実世界のデータではこの関係は崩れる。
• 50%の欠損率であっても、missforestベースの予測器は、補完正確性が同等のiterativeBRベースのものよりも優れた性能を示す。これは、補完正確性そのものが予測性能向上の信頼できる指標ではないことを示唆する。
• モデルが欠損値をネイティブに処理できる場合、または欠損状況インジケータが使用される場合、高度な補完の利益は薄れる。これは、モデリングの選択が補完の洗練度よりも重要である可能性を示唆する。
• MCAR設定下では補完が理論的に妥当であるが、それでも補完の向上による利益は依然として小さい。これは、現実のMNAR状況ではさらに小さな利益にとどまる可能性を示唆する。