[論文レビュー] Rates of Convergence for Nearest Neighbor Classification

Kamalika Chaudhuri, Sanjoy Dasgupta|arXiv (Cornell University)|Jun 30, 2014

Statistical Methods and Inference参考文献 17被引用数 69

ひとこと要約

本稿は、最小限の仮定の下で、メトリック空間におけるk近傍（k-NN）分類の有限標本、分布依存の収束速度を確立する。k-NNに特化した滑らかさクラスを導入し、局所幾何構造への適応的挙動を反映するタイトな上界と下界を提示する。より広い設定において普遍的収束性を証明し、特定の条件下では1-NNがk > 1のk-NNを上回ることを示す。

ABSTRACT

Nearest neighbor methods are a popular class of nonparametric estimators with several desirable properties, such as adaptivity to different distance scales in different regions of space. Prior work on convergence rates for nearest neighbor classification has not fully reflected these subtle properties. We analyze the behavior of these estimators in metric spaces and provide finite-sample, distribution-dependent rates of convergence under minimal assumptions. As a by-product, we are able to establish the universal consistency of nearest neighbor in a broader range of data spaces than was previously known. We illustrate our upper and lower bounds by introducing smoothness classes that are customized for nearest neighbor classification.

研究の動機と目的

• 先行研究における収束レート分析の洗練の欠如と、最近傍法の適応的性質との間のギャップを埋める。
• 最小限の仮定の下で、一般のメトリック空間におけるk-NN分類の有限標本、分布依存の収束速度を導出する。
• これまでに知られていた設定を超えて、k-NNが普遍的収束性を達成する条件を同定する。
• 最近傍分類に特化した滑らかさクラスを導入し、その局所的適応性をよりよく反映する。
• 非i.i.d.または不均質な設定下での最近傍法の適応的性質を捉えるために、滑らかさクラスを定義する。

提案手法

• 入力空間に定義されたボレル確率測度を用いた確率的枠組みにおいて、一般のメトリック空間におけるk-NN分類を分析する。
• 各点を中心とする「p-ボール」の概念を導入する。p-ボールとは、少なくとも割合pの測度を含む最小の閉球である。
• 測度が少なくともpに達するような、点xを中心とする半径rの球の半径の下界として、半径関数r_p(x)を定義する。
• 濃度不等式を用いて、訓練データ上で高確率で誤分類を生じる確率を評価する。
• 分類の曖昧さを捉える境界集合∂_pの測度を含む境界を導出する。
• 条件付き確率η(x) = P(Y=1|X=x)に関するホルダー型の条件に基づく滑らかさクラスを導入し、収束速度と条件付き確率の正則性の関係を明示する。

実験結果

リサーチクエスチョン

• RQ1 一般のメトリック空間におけるk-NN分類の有限標本、分布依存の収束速度は何か？
• RQ2 収束速度は、条件付き確率関数η(x)の局所幾何構造および滑らかさにどのように依存するか？
• RQ3 ユークリッド空間や滑らかな多様体を超えて、k-NNが普遍的収束性を示すより広いデータ空間のクラスは何か？
• RQ4 1-NNの性能が、k > 1のk-NNを常に上回ることは可能か？その条件は何か？
• RQ5 非i.i.d.または不均質な設定下で、最近傍法の適応的性質を反映するように滑らかさクラスをどのように定義できるか？

主な発見

• 本稿は、境界集合∂_pの測度と条件付き確率関数ηの滑らかさに依存するk-NN分類の有限標本境界を確立する。
• 任意のδ > 0に対して、確率1−δ以上で、k-NN分類器の誤差はδ + μ(∂_p)で抑えられる。ここでp = k/n + 2log(2/δ)/n × (1 + √(1 + k/log(2/δ)))である。
• この境界は、特定の分布下では1-NNがk > 1のk-NNを誤差率の観点で上回ることを示しており、カバーとハートの許容性に関する結果を裏付ける。
• 滑らかさクラスとして、|η(x₁) − η(x₂)| ≤ Kρ(x₁,x₂)^{2α}という条件を導入し、ホルダー指数αを用いて収束速度を精確に特徴づけることができる。
• 解析により、非原子的測度や不連続なηを含む、これまでに知られていたより広いクラスのメトリック空間においてもk-NNの普遍的収束性が証明される。
• 結果は、k-NNが局所幾何構造に適応しており、ηが滑らかであるか、またはデータがより密集している領域では収束が速いことを示している。