[論文レビュー] Classification of datasets with imputed missing values: does imputation quality matter?

Tolou Shadbahr, Michael Roberts+17 more|arXiv (Cornell University)|Jun 16, 2022

Machine Learning and Data Classification参考文献 58被引用数 7

ひとこと要約

本論文は、機械学習における補完品質が下流分類性能に与える影響を調査する。従来の指標（RMSEなど）はモデル性能の予測に不適切であることが示され、驚くべきことに、劣悪な補完データからも高性能な分類器が得られることが判明した。これは誤った特徴量重要度の割り当てや解釈可能性の低下を引き起こす。

ABSTRACT

BACKGROUND: Classifying samples in incomplete datasets is a common aim for machine learning practitioners, but is non-trivial. Missing data is found in most real-world datasets and these missing values are typically imputed using established methods, followed by classification of the now complete samples. The focus of the machine learning researcher is to optimise the classifier's performance. METHODS: We utilise three simulated and three real-world clinical datasets with different feature types and missingness patterns. Initially, we evaluate how the downstream classifier performance depends on the choice of classifier and imputation methods. We employ ANOVA to quantitatively evaluate how the choice of missingness rate, imputation method, and classifier method influences the performance. Additionally, we compare commonly used methods for assessing imputation quality and introduce a class of discrepancy scores based on the sliced Wasserstein distance. We also assess the stability of the imputations and the interpretability of model built on the imputed data. RESULTS: The performance of the classifier is most affected by the percentage of missingness in the test data, with a considerable performance decline observed as the test missingness rate increases. We also show that the commonly used measures for assessing imputation quality tend to lead to imputed data which poorly matches the underlying data distribution, whereas our new class of discrepancy scores performs much better on this measure. Furthermore, we show that the interpretability of classifier models trained using poorly imputed data is compromised. CONCLUSIONS: It is imperative to consider the quality of the imputation when performing downstream classification as the effects on the classifier can be considerable.

研究の動機と目的

• 補完品質が機械学習における下流分類性能に与える影響を調査すること。
• RMSE、MAE、R²などの標準的補完品質指標が、真のデータ分布の忠実度をどれだけ反映しているかを評価すること。
• より正確な補完品質評価のため、スライスド・ワサースタイン距離に基づく新しい差違スコアのクラスを開発・検証すること。
• 補完品質とモデルの解釈可能性との関連、特に誤った特徴量重要度の割り当ての観点から検討すること。
• 補完および分類パイプラインの再現可能なベンチマーク評価を可能にする公開コードベースの提供

提案手法

• スライスド・ワサースタイン距離に着想を得た新しい差違スコアのクラスを提案し、補完データが全体の特徴量分布をどれだけよく再構築しているかを評価する。
• 多要因分散分析（multi-factor ANOVA）を用いて、補完手法、分類器選択、欠損率が下流分類AUCに与える影響を定量化する。
• 制御された欠損を備えた合成データおよび実世界の臨床データセット（乳癌、MIMIC-III、NHSX COVID-19、シミュレーテッド）を用い、補完手法を評価する。
• 従来の指標（RMSE、MAE、R²）に加え、新規の分布的差違スコアを用いて、異なる手法間での補完品質を比較する。
• SHAP値を用いた解釈可能性分析により、補完データで訓練されたモデルにおける特徴量重要度を評価する。
• 再現可能な補完および分類性能評価を可能にする公開コードベースとベンチマークフレームワークをリリースする。

実験結果

リサーチクエスチョン

• RQ1 補完手法の選択が、異なるデータセットおよび欠損率において下流分類性能にどのように影響するか？
• RQ2 標準的補完品質指標（例：RMSE、MAE）が、実際の下流分類性能とどれほど相関しているか？
• RQ3 スライスド・ワサースタイン距離に基づく新しい差違スコアのクラスは、従来の指標よりも補完品質をよりよく捉えられるか？
• RQ4 劣悪な補完品質は、訓練済み分類器において誤ったまたは誤解を招く特徴量重要度の割り当てを引き起こすか？
• RQ5 深層学習ベースの補完手法（例：GAIN、MIWAE）は繰り返し実行においてどれほど安定しており、その影響は性能に及ぶか？

主な発見

• 提案されたスライスド・ワサースタインに基づく差違スコアは、RMSE や MAE といった従来指標よりも、下流分類性能との相関が強いことが示された。
• 劣悪な補完品質であっても、XGBoost やニューラルネットワークなどの強力な分類器は高いAUC（例：シミュレーテッドデータで最大0.88）を達成でき、ノイズに強く頑健であることが示された。
• ニューラルネットワークを組み込んだ補完手法（例：GAIN、MIWAE）は、実行ごとに高いばらつきを示し、局所最適解に陥りやすいことが判明した。
• 劣悪な補完データで訓練された分類器は、誤った重要度を特徴量に割り当て、モデルの解釈可能性と信頼性を損なう。
• RMSE や MAE といった標準指標は下流性能と相関がなく、分布的差違スコア（例：特徴量別KL、KS、ワサースタイン）は有意な相関を示した。
• 補完手法と分類器選択の相互作用が性能に顕著な影響を与え、NGBoost や XGBoost は、特に MIWAE や MICE を用いた良好な補完データに対して優れた性能を示した。