[論文レビュー] An adaptive nearest neighbor rule for classification

Akshay Balsubramani, Sanjoy Dasgupta+2 more|arXiv (Cornell University)|May 29, 2019

Machine Learning and Algorithms参考文献 17被引用数 10

ひとこと要約

本稿では、各クエリポイントの局所的ラベル信頼度に基づいて近傍サイズ $k$ を動的に選択する適応的 k-近傍 (AKNN) 分類器を提案する。信頼度閾値 $\Delta(n,k) \sim \sqrt{\log n / k}$ を用いる。この手法は、最適な固定 $k$ を用いた $k$-NN と同等またはそれ以上の一般化誤差率を達成し、従来のリプシッツ条件よりも弱い局所的「利点」測度に従う収束速度を示す。

ABSTRACT

We introduce a variant of the $k$-nearest neighbor classifier in which $k$ is chosen adaptively for each query, rather than supplied as a parameter. The choice of $k$ depends on properties of each neighborhood, and therefore may significantly vary between different points. (For example, the algorithm will use larger $k$ for predicting the labels of points in noisy regions.) We provide theory and experiments that demonstrate that the algorithm performs comparably to, and sometimes better than, $k$-NN with an optimal choice of $k$. In particular, we derive bounds on the convergence rates of our classifier that depend on a local quantity we call the `advantage' which is significantly weaker than the Lipschitz conditions used in previous convergence rate proofs. These generalization bounds hinge on a variant of the seminal Uniform Convergence Theorem due to Vapnik and Chervonenkis; this variant concerns conditional probabilities and may be of independent interest.

研究の動機と目的

• 固定された $k$ を用いるのではなく、局所的なデータ特性に応じて $k$ を適応的に変更する近傍分類器を開発すること。
• ノイズが多い領域やラベル信頼度が低い領域における一般化性能を向上させるために、$k$ を局所的に適応的に増加させること。
• 分類の難易度の局所的測度（「利点」と呼ばれる）に依存する理論的収束速度を確立すること。これは、従来のグローバルな滑らかさ仮定（リプシッツ連続性）に置き換える。
• 適応的ルールがユニバーサル一貫性を満たし、従来の $k$-NN 理論よりも弱い条件下でも競争的な収束速度を達成できることを示すこと。
• 信頼度が低い場合に予測を控えることを許容する実用的なアルゴリズムを提供すること。この際、調整可能な信頼度パラメータ $A$ を用いる。

提案手法

• アルゴリズムは、$k$-近傍の平均ラベルの絶対値が信頼度閾値 $\Delta(n,k) = \sqrt{\log n / k}$ を超える最小の $k$ を選択する。
• 二値分類の場合、平均ラベルが $+\Delta(n,k)$ を上回れば予測を $+1$、$-\Delta(n,k)$ を下回れば $-1$ とし、両方の条件を満たさなければ $?$ と予測する。
• 多値分類設定では、任意のクラス $y$ について、実現ラベル頻度が $1/|\mathcal{Y}| + \Delta(n,k)$ を超える最小の $k$ を求めるルールに拡張される。
• 信頼度パラメータ $A$ は $\Delta = A / \sqrt{k}$ を用いて導入され、精度とカバレッジ（予測控除）のトレードオフを制御する。
• 停止ルールは、実測ラベル平均の統計的信頼区間に基づくものであり、十分なデータが利用可能であれば高確率で正しくなることを保証する。
• 一般化誤差のタイトな境界を得るために、条件付き確率に対するバプニク＝チェルヴォネンクスの一様収束定理の変種が用いられる。

実験結果

リサーチクエスチョン

• RQ1 クエリポイントごとに $k$ を適応的に変更することで、固定 $k$ を用いた $k$-NN と同等またはそれ以上の性能を達成できるか？
• RQ2 このような適応的ルールに対して、収束速度および一貫性に関する理論的保証はどのようなものか？
• RQ3 ノイズレベルやデータ分布が変化する条件下でも、適応的ルールの性能は最適な固定 $k$ を用いた $k$-NN と比べてどうなるか？
• RQ4 「利点」と呼ばれる局所的難易度測度が、従来のリプシッツ連続性のようなグローバルな滑らかさ仮定を置き換えることができるか？
• RQ5 信頼度パラメータ $A$ の選択が、実際の予測精度とカバレッジ（予測控除）のトレードオフにどのように影響するか？

主な発見

• 適応的 k-NN ルールは、$k$-NN と同等の条件下で漸近的一致性を達成し、収束速度はリプシッツ条件よりも弱い局所的「利点」測度に依存する。
• アルゴリズムは、最適な固定 $k$ を用いた $k$-NN と同等またはそれ以上の性能を示し、特にラベル信頼度が低いかノイズが多い領域では、より大きな $k$ 必要なため優れた性能を発揮する。
• notMNIST データセットでは、$A=1$ の AKNN が 88% の精度と 100% のカバレッジを達成し、最良の $k$-NN（$k=10$、約 88% の精度）を上回った。
• AKNN が選択する近傍数は、予測信頼度の局所的代理指標である：ラベル信頼度が低いかノイズが高い領域では、より大きな $k$ 値が選ばれる。
• 信頼度パラメータ $A$ を増加させると、精度は向上するがカバレッジは低下する。これは、不確実な予測に対してより頻繁に予測を控えるためである。
• MNIST におけるシミュレートされたラベルノイズの実験では、AKNN は固定 $k$ の $k$-NN よりも優れた性能を示した。$k$ が高ノイズレベルに不適切に小さい場合、固定 $k$ の $k$-NN は著しく性能を落とした。