[論文レビュー] Nearest Neighbor Imputation for Categorical Data by Weighting of Attributes

Shahla Faisal, Gerhard Tutz|arXiv (Cornell University)|Oct 3, 2017

Sensory Analysis and Statistical Methods被引用数 5

ひとこと要約

本論文は、カーネル関数に基づく距離尺度を用いて属性間の関連を活用することで、カテゴリカルデータに対する新しい重み付き近傍補完手法 wNNSel_cat を提案する。属性の関連に応じて重みを付けることで、従来の手法に比べて補完誤差を低減する。特に、DNAプロモーターおよびリンパ節画像データなどの実世界データにおいて、ダミー変数と相関を用いる wNNSel_dum が、多値カテゴリカルデータにおいて wNNSel_cat を上回る性能を示す。

ABSTRACT

Missing values are a common phenomenon in all areas of applied research. While various imputation methods are available for metrically scaled variables, methods for categorical data are scarce. An imputation method that has been shown to work well for high dimensional metrically scaled variables is the imputation by nearest neighbor methods. In this paper, we extend the weighted nearest neighbors approach to impute missing values in categorical variables. The proposed method, called $\mathtt{wNNSel_{cat}}$, explicitly uses the information on association among attributes. The performance of different imputation methods is compared in terms of the proportion of falsely imputed values. Simulation results show that the weighting of attributes yields smaller imputation errors than existing approaches. A variety of real data sets is used to support the results obtained by simulations.

研究の動機と目的

• 欠損値を含むカテゴリカルデータに対する有効な補完手法の不足に取り組む。
• 重み付き距離尺度を用いてカテゴリカル属性間の関連を組み込むことで、近傍補完の性能を向上させる。
• 事前に近傍数 k を指定する必要を回避し、補完誤差を低減する手法を開発する。
• シミュレーションおよび実データを用いて、wNNSel_cat とモード補完、ランダムフォレスト、wNNSel_dum などの既存手法の性能を比較する。

提案手法

• 属性の関連に基づいて重みを付けるカーネル関数（ガウス型および三角型）を用いた重み付き距離尺度 d_SelCat を提案する。
• 交差検証アルゴリズムを用いて最適なチューニングパラメータを自動的に選択し、事前に k を固定する必要を排除する。
• 連関表からの関連情報を利用して、距離計算において相関の強い属性に高い重みを付与する。
• カーネル関数を用いて距離値を変換し、q が帯域幅を制御する。異なるカーネルタイプの性能を評価する。
• wNNSel_dum（カテゴリカル変数をダミー変数に変換し、ピアソン相関を距離に用いる）と wNNSel_cat を比較する。
• 近傍の重み付きモードを用いて欠損値を補完する。重みはカーネル重み付き距離から導出される。

実験結果

リサーチクエスチョン

• RQ1 距離尺度に属性の関連性を組み込むことで、カテゴリカルデータの近傍補完性能が向上するか？
• RQ2 提案手法 wNNSel_cat は、従来の k-NN やモード補完に比べて補完誤差を低減するか？
• RQ3 ガウス型カーネルと三角型カーネル、およびチューニングパラメータ q の違いが補完性能に与える影響は何か？
• RQ4 ダミー変数と相関を用いる wNNSel_dum は、多値カテゴリカルデータにおいて wNNSel_cat を上回るか？
• RQ5 さまざまな欠損率を示す多様な実世界データセットにおいて、本手法の性能はいかがなっているか？

主な発見

• wNNSel_cat は、カーネル重み付き距離を用いて属性の関連を活用することで、補完誤差を顕著に低減する。
• 多値カテゴリカルデータでは、ダミー変数と相関を用いる wNNSel_dum が、wNNSel_cat よりも低い補完誤差を達成し、特に DNA プロモーターおよびリンパ節画像データにおいて顕著に優れた性能を示す。
• DNA プロモーターおよびリンパ節画像データでは、ガウス型カーネルが三角型カーネルよりも小さい補完誤差を示したが、SPECT データでは両者に差がなかった。
• q の値が性能に与える影響は最小限であり、すべてのデータセットで q=1 と q=2 で同程度の結果が得られた。
• 二値データ（SPECT）では、wNNSel_cat と wNNSel_dum がほぼ同一の性能を示し、低次元カテゴリカル設定におけるロバスト性を確認した。
• 実データ応用において、wNNSel_dum は最小の PFC（誤って補完された値の割合）を達成した。特に DNA プロモーター データで 30% の欠損率の際、PFC = 0.4586 となり、ランダムフォレストでさえもこれを上回った。