[論文レビュー] k*-Nearest Neighbors: From Global to Local

Oren Anava, Kfir Y. Levy|arXiv (Cornell University)|Jan 25, 2017

Statistical Methods and Inference被引用数 41

ひとこと要約

本論文は、バイアス・バリアンスのトレードオフを明示的にモデル化することで、各予測点に対して局所的に最適な近傍数 $k$ と重みを同時に最適化する、$k^*$-Nearest Neighbors（$k^*$-NN）という、新しい局所的適応型 $k$-NN手法を提案する。この手法は、8つの実世界データセットのうち7つで標準的 $k$-NNおよびNadaraya-Watson手法を上回る性能を達成し、そのうち3つでは統計的に有意な改善を示した。これは、各点ごとに適応的な $k$ と最適な重みを、貪欲なアルゴリズムを用いて実現することで達成された。

ABSTRACT

The weighted k-nearest neighbors algorithm is one of the most fundamental non-parametric methods in pattern recognition and machine learning. The question of setting the optimal number of neighbors as well as the optimal weights has received much attention throughout the years, nevertheless this problem seems to have remained unsettled. In this paper we offer a simple approach to locally weighted regression/classification, where we make the bias-variance tradeoff explicit. Our formulation enables us to phrase a notion of optimal weights, and to efficiently find these weights as well as the optimal number of neighbors efficiently and adaptively, for each data point whose value we wish to estimate. The applicability of our approach is demonstrated on several datasets, showing superior performance over standard locally weighted methods.

研究の動機と目的

• 非パラメトリック回帰および分類における $k$ と重みの最適選択という長年の課題に取り組むこと。
• 全データセット全体に対して一様に適用するのではなく、各予測点ごとに局所的に $k$ と重みを適応させる手法を開発すること。
• バイアス・バリアンスのトレードオフを明示的にモデル化することで、理論的裏付けのある局所的最適推定の原理的アプローチを提供すること。
• 有限標本領域における一般化性能の向上と、各予測に対する信頼性保証を可能にすること。

提案手法

• 各データポイントに対してバイアスとバリアンスを明示的にバランスさせる局所的予測問題を定式化し、最適な重みと $k$ を定義する。
• バイアス・バリアンスのトレードオフの下で最適な重みベクトルの閉形式解を導出し、計算を効率化する。
• 全組み合わせの探索を避けるために、各テストポイントの最適な $k$ と重みを正確かつ効率的に計算するための貪欲なアルゴリズムを提案する。
• 最適化におけるバイアスとバリアンスのトレードオフを制御する $L/C$ ハイパーパrameterのチューニングに、検証セットで5分割交差検証を用いる。
• 比較のためのガウスカーネルを用いるが、本手法はカーネルに依存せず、任意の距離尺度と組み合わせて適用可能である。
• モデルの再設定を必要とせず、二値分類および回帰の両タスクに同一のフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 各データポイントごとに固定ではなく、変化する原理的な最適 $k$ と重みの定義は可能か？
• RQ2 理論的保証を維持したまま、各予測ポイントの最適な $k$ と重みを効率的に計算する方法は何か？
• RQ3 $k$ と重みの適応的選択は、有限標本かつ漸近的でない設定で性能向上をもたらすか？
• RQ4 局所的なバイアス・バリアンスのトレードオフに基づいて、各予測に対する信頼区間を提供できるか？

主な発見

• 提案された $k^*$-NN手法は、UCIレポジトリの8つの実世界データセットのうち7つで、標準的 $k$-NNおよびNadaraya-Watson手法を上回った。
• QSAR、Ionosphere、Yacht の3つのデータセットにおいて、$k^*$-NNが2番目に良い手法よりも有意に優れており、有意水準 0.05 で統計的に有意であった。
• 全データセットにおいて、標準的 $k$-NNおよびNadaraya-Watsonよりも絶対誤差率が低く抑えられ、表1では最高成績を示す結果にアスタリスクを付与した。
• $k^*$-NNが選択する $k$ 値の範囲はデータポイントごとに変動しており（例：QSARでは1〜4、Diabetesでは1〜9）、効果的な局所的適応性を示している。
• 本手法は、二値分類（例：Sonar、Fertility）および回帰（例：Slump、Yacht）を含む、さまざまなデータタイプに対して安定した性能を示した。
• 貪欲なアルゴリズムの使用により、全組み合わせ探索を回避して最適な $k$ と重みを正確に計算でき、スケーラブルで実用的な手法となった。