[論文レビュー] An improvement to k-nearest neighbor classifier

T. Hitendra Sarma, P. Viswanath+2 more|arXiv (Cornell University)|Jan 27, 2013

Machine Learning and Data Classification参考文献 14被引用数 11

ひとこと要約

本論文では、線形補間の代わりにガウスカーネルを用いて近傍に重みを割り当てることで分類精度を向上させるガウス重み付きk近傍法分類器を提案する。この手法は非パラメトリック密度推定と理論的に関連付けられ、空間圧縮や分類時間最適化技術に依存せずに、標準データセット上で既存のk-NN変種を上回る性能を示す。

ABSTRACT

K-Nearest neighbor classifier (k-NNC) is simple to use and has little design time like finding k values in k-nearest neighbor classifier, hence these are suitable to work with dynamically varying data-sets. There exists some fundamental improvements over the basic k-NNC, like weighted k-nearest neighbors classifier (where weights to nearest neighbors are given based on linear interpolation), using artificially generated training set called bootstrapped training set, etc. These improvements are orthogonal to space reduction and classification time reduction techniques, hence can be coupled with any of them. The paper proposes another improvement to the basic k-NNC where the weights to nearest neighbors are given based on Gaussian distribution (instead of linear interpolation as done in weighted k-NNC) which is also independent of any space reduction and classification time reduction technique. We formally show that our proposed method is closely related to non-parametric density estimation using a Gaussian kernel. We experimentally demonstrate using various standard data-sets that the proposed method is better than the existing ones in most cases.

研究の動機と目的

• 線形補間の限界を是正するため、より適応的な重み付け方式を導入すること。
• 空間圧縮や分類時間短縮技術に依存せずに分類性能を向上させるk-NNの変種を開発すること。
• ガウスカーネルを用いた非パラメトリック密度推定と、提案手法を正式に結びつけること。
• 標準ベンチマークデータセット上で、ガウス重み付きアプローチが既存のk-NN変種を上回ることを実証的に検証すること。

提案手法

• 提案手法は、クエリポイントからの距離に基づいて、k個の近傍にガウスカーネル関数を用いて重みを割り当てる。
• ガウスカーネルは w_i = exp(-d_i^2 / (2σ^2)) で定義され、d_i はi番目の近傍までの距離、σ はバンド幅パラメータである。
• クラス予測は重み付き投票により行われ、各近傍の寄与度はそのガウス重みに比例してスケーリングされる。
• この手法は空間圧縮や分類時間短縮技術に依存しないため、それらと組み合わせて使用可能である。
• 理論的分析により、ガウス重み付きk-NNはガウスカーネルを用いたカーネル密度推定と密接に関連していることが示された。
• バンド幅σは、k個の近傍への平均距離に基づいて選定され、頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 線形補間と比較して、ガウスカーネルに基づく重み付け方式はk-NN分類性能を向上させることができるか？
• RQ2 提案手法はガウスカーネルを用いた非パラメトリック密度推定と理論的に関連しているか？
• RQ3 ガウス重み付きk-NNは、多様な標準データセットにおいて、標準的および重み付きk-NNの変種を上回るか？
• RQ4 提案手法は空間圧縮や分類時間最適化技術とは独立して使用可能か？

主な発見

• 提案されたガウス重み付きk-NN分類器は、大多数のベンチマークデータセットにおいて、標準k-NNおよび線形重み付きk-NNを上回る分類精度を達成した。
• 本手法は、非一様に分布する近傍が存在する状況においても一貫した改善を示した。
• 理論的分析により、ガウス重み付きk-NNがガウスカーネルを用いたカーネル密度推定と等価であることが確認され、しっかりとした統計的基盤が得られた。
• 性能向上の要因は、線形補間に比べて滑らかで距離に敏感な重み付けであり、これにより局所的なデータ構造をよりよく捉えることができた。