[論文レビュー] Dynamic Feature Scaling for K-Nearest Neighbor Algorithm

Chandrasekaran Anirudh Bhardwaj, Megha Mishra+1 more|arXiv (Cornell University)|Nov 13, 2018

Data Mining Algorithms and Applications参考文献 18被引用数 4

ひとこと要約

本稿では、K-近傍法（K-NN）における動的特徴量スケーリング手法を提案する。この手法は、複数の決定木からの袋だい誤差推定値に基づき、個々の特徴量に重みを割り当てることで、均一なスケーリングを超えた特徴量の重要度に応じた適応的スケーリングを実現し、予測精度を向上させる。標準的な正規化手法よりも、アンサンブルモデルの性能から特徴量固有の重みを学習することで、優れた性能を発揮する。

ABSTRACT

Nearest Neighbors Algorithm is a Lazy Learning Algorithm, in which the algorithm tries to approximate the predictions with the help of similar existing vectors in the training dataset. The predictions made by the K-Nearest Neighbors algorithm is based on averaging the target values of the spatial neighbors. The selection process for neighbors in the Hermitian space is done with the help of distance metrics such as Euclidean distance, Minkowski distance, Mahalanobis distance etc. A majority of the metrics such as Euclidean distance are scale variant, meaning that the results could vary for different range of values used for the features. Standard techniques used for the normalization of scaling factors are feature scaling method such as Z-score normalization technique, Min-Max scaling etc. Scaling methods uniformly assign equal weights to all the features, which might result in a non-ideal situation. This paper proposes a novel method to assign weights to individual feature with the help of out of bag errors obtained from constructing multiple decision tree models.

研究の動機と目的

• K-NNにおける均一な特徴量スケーリングの限界に対処する。これは、予測の重要度が異なるにもかかわらず、すべての特徴量が同等に扱われるためである。
• ターゲット変数に対する個々の特徴量の関連性を反映した、データ駆動型の特徴量重み割り当て手法を開発する。
• 静的正規化の代わりに、適応的かつモデルに裏付けられた特徴量スケーリングを導入することで、K-NNの性能を向上させること。
• Zスコアや最小-最大スケーリングといった固定正規化手法に依存せずに、特徴量スケールの変動に対する感受性を低減すること。

提案手法

• 訓練データのブートストラップ標本上で複数の決定木を学習し、各特徴量の袋だい（OOB）誤差率を計算する。
• 各特徴量がアンサンブル内の複数の木全体で寄与するOOB誤差の低減量から、特徴量の重要度を導出する。
• OOB誤差に基づく重要度スコアを用いて、K-NNにおける距離計算の前に特徴量に動的重みを割り当てる。
• K-NNにおける距離計算を、学習された特徴量重みを組み込むように変更し、予測力に忡うように特徴量をスケーリングする。
• 最終的なK-NN予測では、重み付き距離計測法を用い、重要度が高い特徴量が近傍選択に大きく寄与する。
• グローバルな正規化に依存せず、モデルの性能から特徴量固有のスケーリングを学習する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルモデルから導出された特徴量重みは、均一なスケーリングと比較してK-NNの性能を向上させるか？
• RQ2 OOB誤差に基づく動的特徴量重み付けは、K-NNの予測精度にどのように影響するか？
• RQ3 提案手法は、現実世界のデータセットにおける特徴量スケールの変動に対して感受性を低減するか？
• RQ4 ラベル付きの検証セットを必要とせずに、OOB誤差推定値がK-NNのための特徴量重要度を信頼性を持って指し示せるか？

主な発見

• 提案された動的特徴量スケーリング手法は、Zスコアや最小-最大スケーリングといった標準的な正規化手法と比較して、K-NNの予測精度を顕著に向上させる。
• 袋だい誤差から導出された特徴量重みは、予測的関連性を効果的に捉えており、距離計算における近傍選択を改善する。
• モデル性能への寄与が低い特徴量は、その低さに応じて重みを下げることで、不要な特徴量やノイズの影響を低減する。
• 特徴量ごとに重みを適応的に調整するため、均一なスケーリングを適用するのではなく、特徴量スケールの変動に対して高いロバスト性を示す。