[論文レビュー] Distance and Similarity Measures Effect on the Performance of K-Nearest Neighbor Classifier -- A Review

V. B. Surya Prasath, Haneen Arafat Abu Alfeilat+5 more|arXiv (Cornell University)|Aug 14, 2017

Machine Learning and Data Classification参考文献 72被引用数 97

ひとこと要約

このレビューは、ノイズを含む多数の実世界データセットに対してKNNの距離/類似度指標を最大54まで評価し、どの指標が最も正確性とロバスト性を生むかを特定します。

ABSTRACT

The K-nearest neighbor (KNN) classifier is one of the simplest and most common classifiers, yet its performance competes with the most complex classifiers in the literature. The core of this classifier depends mainly on measuring the distance or similarity between the tested examples and the training examples. This raises a major question about which distance measures to be used for the KNN classifier among a large number of distance and similarity measures available? This review attempts to answer this question through evaluating the performance (measured by accuracy, precision and recall) of the KNN using a large number of distance measures, tested on a number of real-world datasets, with and without adding different levels of noise. The experimental results show that the performance of KNN classifier depends significantly on the distance used, and the results showed large gaps between the performances of different distances. We found that a recently proposed non-convex distance performed the best when applied on most datasets comparing to the other tested distances. In addition, the performance of the KNN with this top performing distance degraded only about $20\%$ while the noise level reaches $90\%$, this is true for most of the distances used as well. This means that the KNN classifier using any of the top $10$ distances tolerate noise to a certain degree. Moreover, the results show that some distances are less affected by the added noise comparing to other distances.

研究の動機と目的

• KNN分類の正確性、精度、再現率に対する距離/類似度測度の選択が実世界データセットでどのように影響するかを評価する。
• 大規模な距離測度スイート（8つのファミリと54メトリック）を比較して、上位の性能を示す指標を特定する。
• ノイズレベルの増加による性能低下を調べることで、KNNのノイズ耐性を評価する。
• ノイズに対して敏感でない、すなわちKNN分類でより頑健な距離指標を特定する。

提案手法

• 54の距離/類似度測度を8つの主要ファミリに分類・整理する。
• 変化するノイズレベルを持つ実世界データセットの大規模なコレクションでKNNの性能（正確度、精度、再現率）を評価する。
• 異なるノイズレベルを最大90%まで加えることで頑健性を分析し、性能変化を観察する。
• 上位の性能を示す距離を特定し、それらのノイズ耐性を比較する。
• 結果をデータセット間で比較し、実務への示唆を議論する。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセット全体でKNNの正確性（および関連指標）を最大化する最良の距離指標は何か？
• RQ2 データにノイズが含まれる場合に最良の性能を維持する距離指標は何か？
• RQ3 KNN分類においてノイズに対して最も頑健な距離測度はどれか？

主な発見

• KNNの性能は使用される距離指標に大きく依存し、距離間には大きなギャップがある。
• 最近提案された非凸距離が多くのデータセットで最良の結果をもたらすことが多い。
• トップパフォーマンスの距離はノイズが90%に達すると約20%低下するが、依然として頑健性が高い。
• 多くのトップ10の距離はある程度ノイズを許容する。
• 一部の距離は他よりノイズ追加に対してより頑健であり、指標間の頑健性に差があることを強調している。
• Hassanat distance は複数の比較で強力なパフォーマーとして強調されている。