[論文レビュー] Classification with the nearest neighbor rule in general finite dimensional spaces: necessary and sufficient conditions

Sébastien Gadat, Thierry Klein+1 more|arXiv (Cornell University)|Nov 4, 2014

Statistical Methods and Inference参考文献 38被引用数 4

ひとこと要約

本稿は、一般の有限次元空間におけるk近傍法（k-NN）ルールの一様一貫性に関する必要十分条件を確立し、Xの周辺分布および回帰関数η(x) = E[Y|X=x]の滑らかさとマージン特性の役割を特定する。鋭い収束速度を導出し、局所密度の変化に適応するスライスド近傍法の変種を提案し、特に重尾または非コンパクトな設計下で性能が向上する。

ABSTRACT

Given an $n$-sample of random vectors $(X_i,Y_i)_{1 \leq i \leq n}$ whose joint law is unknown, the long-standing problem of supervised classification aims to extit{optimally} predict the label $Y$ of a given a new observation $X$. In this context, the nearest neighbor rule is a popular flexible and intuitive method in non-parametric situations. Even if this algorithm is commonly used in the machine learning and statistics communities, less is known about its prediction ability in general finite dimensional spaces, especially when the support of the density of the observations is $\mathbb{R}^d$. This paper is devoted to the study of the statistical properties of the nearest neighbor rule in various situations. In particular, attention is paid to the marginal law of $X$, as well as the smoothness and margin properties of the extit{regression function} $η(X) = \mathbb{E}[Y | X]$. We identify two necessary and sufficient conditions to obtain uniform consistency rates of classification and to derive sharp estimates in the case of the nearest neighbor rule. Some numerical experiments are proposed at the end of the paper to help illustrate the discussion.

研究の動機と目的

• 設計分布が有界でないサポートを持つ一般の有限次元空間におけるk近傍法ルールの統計的一致性を特徴づけること。
• 一様収束速度を保証するXの周辺分布および回帰関数η(x)の滑らかさ／マージン特性に関する正確な条件を同定すること。
• k-NNルールにおける分類過剰リスクの鋭い、ミニマックス最適な収束速度を導出すること。
• 局所密度の変動に適応するスライスド近傍法ルールを提案・分析し、非コンパクトまたは重尾的設計下での性能向上を図ること。
• さまざまな分布（正規分布、コーシー分布、べき則分布）下での標準k-NNとスライスドk-NNの比較を通じて、理論的知見を数値実験で検証すること。

提案手法

• i.i.d.標本下におけるR^d上でのk-NNルールを分析し、ベイズ最適ルールに対する分類過剰リスクに注目する。
• Xの周辺分布（例：尾部挙動）およびη(x)の滑らかさ、特にマージン条件に制約を課すことにより、一様一貫性の収束速度を導出する。
• 局所密度推定（カーネルベースの適応帯域幅選択を用いて）を用いてk_n(X)を局所設計密度に適応させるスライスド近傍法ルールを導入する。
• 標準k-NNおよびスライスドk-NNの両者に対して過剰リスクの理論的境界を確立し、有利なマージンおよび滑らかさ条件の下でより良い収束速度を示す。
• 1000回のモンテカルロシミュレーションを用いて、k_n ~ n^{2/(3+α+d)} となる標準k-NNと、密度推定に適応するk_n(X)を用いるスライスドk-NNを複数の分布で比較する。
• スライスドルールを実装するため、Xの周辺分布のための適応カーネル密度推定にkde.mパッケージを用いる。

実験結果

リサーチクエスチョン

• RQ1 R^dにおけるk-NNルールの一様一貫性を完全に特徴づけるために、Xの周辺分布および回帰関数η(x)に必要な十分条件は何か？
• RQ2 η(x)の滑らかさおよびマージン特性は、k-NN過剰リスクの収束速度にどのように影響を与えるか？
• RQ3 密度に適応する（スライスド）k-NNルールは、非コンパクトまたは重尾的設計下で標準ルールよりも優れた性能を達成できるか？
• RQ4 一般の正則性条件下で、標準k-NNおよびスライスドk-NNルールの理論的過剰リスク収束速度は何か？
• RQ5 スライスドルールの性能向上は、標本サイズnに伴いどのようにスケーリングされ、さまざまな分布仮定（例：正規分布、コーシー分布、べき則分布）に対してロバストか？

主な発見

• 本稿は、R^dにおけるk-NNルールの一様一貫性を完全に特徴づける2つの必要十分条件——Xの周辺分布およびη(x)のマージン／滑らかさ——を同定した。
• 標準k-NNルールにおいては、パrameter αのマージン条件の下で過剰リスクがO(n^{-2/(3+α+d)})の速度で収束し、k_n ~ n^{2/(3+α+d)} となる。
• 局所密度推定に基づきk_n(X)を適応的に選択するスライスド近傍法ルールは、同じ条件下でO(n^{-2/(2+α+d)})のより速い収束速度を達成する。
• 数値実験では、スライスドルールが標準k-NNを一貫して上回ることを示し、nが100から1000に増加するに従い、相対的利得が6%から37%に増加する。
• 重尾的分布（例：コーシー分布）下では、特に顕著な改善が見られ、標準k-NNは希釈した設計下で局所近傍の選択が不十分になるため。
• 高次元ではスライスドルールの理論的利点が薄れるため、高次元設定では次元削減または代替適応戦略の導入が求められる可能性がある。