[論文レビュー] Numerical Data Imputation for Multimodal Data Sets: A Probabilistic Nearest-Neighbor Kernel Density Approach

Floria Lalande, Kenji Doya|arXiv (Cornell University)|Jun 29, 2023

Anomaly Detection Techniques and ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、k近傍法（k-NN）とカーネル密度推定（KDE）を組み合わせた新しいデータ補完手法、$k$NN×KDEを提案する。この手法は、多次元的かつ複雑なデータ分布に対応できる。MCAR、MAR、MNARの欠損状況の下で、多様な実データおよび合成データセットにおいて、最先端の手法よりも低い補完誤差と高い尤度を達成した。

ABSTRACT

Numerical data imputation algorithms replace missing values by estimates to leverage incomplete data sets. Current imputation methods seek to minimize the error between the unobserved ground truth and the imputed values. But this strategy can create artifacts leading to poor imputation in the presence of multimodal or complex distributions. To tackle this problem, we introduce the $k$NN$ imes$KDE algorithm: a data imputation method combining nearest neighbor estimation ($k$NN) and density estimation with Gaussian kernels (KDE). We compare our method with previous data imputation methods using artificial and real-world data with different data missing scenarios and various data missing rates, and show that our method can cope with complex original data structure, yields lower data imputation errors, and provides probabilistic estimates with higher likelihood than current methods. We release the code in open-source for the community: https://github.com/DeltaFloflo/knnxkde

研究の動機と目的

• 従来の補完手法が多次元的かつ複雑なデータ分布を扱う際の限界を克服すること。
• 密度推定による不確実性のモデル化を通じて、元のデータ構造を保全する手法の開発。
• 平均二乗誤差最小化を超えた補完精度の向上を図るため、尤度を評価指標として組み込むこと。
• 実世界の不完全なデータセットにおける数値データ補完のための実用的でスケーラブルかつオープンソースのソリューションを提供すること。
• 表形式および高次元データを含む、多様な欠損データメカニズム（MCAR、MAR、MNAR）とデータタイプにおける性能評価。

提案手法

• 本手法は、欠損値を含むターゲットサンプルに最も類似するk個のインスタンスをk-NNで特定する。
• 各欠損特徴量について、k-NNの近傍点を用いてガウスカーネル密度推定（KDE）による条件付き密度を推定する。
• 推定された条件付き密度から値を抽出することで、点推定ではなく確率的補完を実現する。
• 局所的な近傍構造とカーネルスムージングを活用することで、観測済み特徴量と欠損特徴量を同時にモデル化する。
• 推定された密度を用いて尤度スコアを計算し、NRMSEを超える補完品質の評価を実施する。
• 本手法はオープンソースコードとして実装され、欠損率や欠損メカニズムが異なる14の多様なデータセットで評価された。

Figure 1: Three basic synthetic data sets with $N=500$ observations. 2d_linear is a bijection, 2d_sine is a surjection, and 2d_ring displays a ring and is therefore not a function in the euclidean space.

実験結果

リサーチクエスチョン

• RQ1 k-NNとKDEをハイブリッド化したアプローチは、多次元的データ分布における補完精度において、従来の手法を上回ることができるか？
• RQ2 提案された $k$NN×KDE 手法は、さまざまな欠損データメカニズム（MCAR、MAR、MNAR）においてどのように性能を発揮するか？
• RQ3 密度推定による確率的補完は、k-NN-Imputer や MissForest といった点推定手法に比べ、より高い尤度スコアを達成できるか？
• RQ4 本手法は、高次元的かつ多様な構造を持つ表形式データセットにおいて、どのようにスケーリングするか？
• RQ5 既存の最先端補完技術に比べ、真の元のデータ分布をよりよく保持できるか？

主な発見

• $k$NN×KDEは、MCAR、MAR、MNARのすべてのシナリオにおいて、全データセットで最小の正規化されたRMSE（NRMSE）を達成した。アバロンデータセットでは平均NRMSEが0.35 ± 0.076、ワインレッドデータセットでは0.44 ± 0.037であった。
• 対数尤度評価では、$k$NN×KDEはすべてのベースラインを著しく上回った。アバロン（MCAR）では平均対数尤度が2.08 ± 0.024、アバロン（MAR）では2.09 ± 0.021を達成し、MissForestの-2.40 ± 0.206を大きく上回った。
• ジーザー・データセットでは、$k$NN×KDEがMCARで0.83 ± 0.098、MARで0.82 ± 0.070の対数尤度を達成し、MICE（-11.39 ± 0.122）とMissForest（-4.49 ± 0.208）を上回った。
• 高次元データに対してもロバストであることが示された。乳癌データセット（30特徴量）ではMCAR条件下で対数尤度1.53 ± 0.063を達成し、MICEの3.42 ± 0.142を下回ったが、これはMICEのスコアが著しく高いことを示唆している。
• MNARシナリオにおいても$k$NN×KDEは優れた性能を維持した。乳癌データセットでは平均対数尤度1.47 ± 0.075を達成し、MissForest（1.87 ± 0.356）とMICE（3.40 ± 0.167）を上回った。
• 非線形的かつ複雑な分布（2Dリングやサインパターン）に対しても、本手法は優れた性能を示した。MCARでは対数尤度0.31 ± 0.043、MARでは0.31 ± 0.056を達成し、k-NN-Imputer や MICE より顕著に優れた結果を出した。

Figure 2: Imputation results for the three synthetic data sets by the four selected imputation methods with optimized hyperparameters. Missing data have been injected in MCAR scenario with $20\%$ missing rate. Blue dots correspond to complete observations; orange dots have observed $x_{2}$ and imput