[論文レビュー] Is the k-NN classifier in high dimensions affected by the curse of dimensionality?

Vladimir Pestov|arXiv (Cornell University)|Oct 19, 2011

Face and Expression Recognition被引用数 10

ひとこと要約

本稿は、高次元空間におけるk-NN分類器が次元の呪いに苦しむかどうかを調査する。2つの手法を提案する：k-近傍近似（k-ANN）分類器は一貫性はあるが高次元では不安定である。一方、Borel同型による次元削減は、任意の分離可能距離空間を1次元に一様に削減し、k-NNの一貫性を保つ。これは従来の次元削減手法に対する理論的に堅牢な代替手法を提供する。

ABSTRACT

There is an increasing body of evidence suggesting that exact nearest neighbour search in high-dimensional spaces is affected by the curse of dimensionality at a fundamental level. Does it necessarily mean that the same is true for k nearest neighbours based learning algorithms such as the k-NN classifier? We analyse this question at a number of levels and show that the answer is different at each of them. As our first main observation, we show the consistency of a k approximate nearest neighbour classifier. However, the performance of the classifier in very high dimensions is provably unstable. As our second main observation, we point out that the existing model for statistical learning is oblivious of dimension of the domain and so every learning problem admits a universally consistent deterministic reduction to the one-dimensional case by means of a Borel isomorphism.

研究の動機と目的

• k-NN分類器が高次元空間において次元の呪いの影響を受けるかどうかを特定すること。
• 高次元における近似最近傍探索の実現可能性と一貫性を評価すること。
• Borel同型による次元削減が、k-NNの一貫性を保ちながら次元を削減できるかどうかを調査すること。
• 高次元データが本質的にk-NN性能を損なうという仮定に挑戦すること。
• 統計的学習における一貫性のある次元削減の理論的普遍的手法を提案すること。

提案手法

• k-近傍近似（k-ANN）分類器を導入し、データ分布の絶対連続性の下でその一貫性を証明する。
• k-ANN分類器を漸近的次元d → ∞の枠組みで分析し、一貫性を維持するには指数関数的に増加するデータ量が必要であることを示し、高次元における不安定性を示す。
• 任意の分離可能距離空間をRに写像するBorel同型による次元削減を提案し、Borel構造を保存することでk-NNの一貫性を保証する。
• Stoneの一貫性定理がBorel同型に関して不変であることを示し、1次元への還元に学習性能の損失なしに行えることを証明する。
• 記述的集合論を用いてBorel同型を可測構造を保存する一対一写像として定義し、位相的制約なしにデータを圧縮可能であることを示す。
• UCIデータセット（例：Iris, Diabetes）を用いた実験により、Borel削減の有効性を検証し、1次元に削減した後も同等または優れた分類精度を達成している。

実験結果

リサーチクエスチョン

• RQ1 高次元空間において近似最近傍を使用するk-NN分類器は、一貫性を保ち続けるのか？
• RQ2 k-ANN分類器の性能は、高次元における漸近的状態で実際に不安定であると証明可能か？
• RQ3 Borel同型を用いてデータの次元を1に削減し、k-NN分類器の一貫性を保てるか？
• RQ4 Borel同型によるデータ構造の低次元化によって、次元の呪いがk-NN学習に影響を与えるか？
• RQ5 k-NNが高次元で失敗する理由を説明する統計的学習における本質的次元の概念は何か？

主な発見

• k-近傍近似分類器は、データ分布の絶対連続性の下で一貫性を示し、古典的なStoneの一貫性定理を拡張する。
• 高次元極限（d → ∞）において、k-ANN分類器は一貫性を維持するためには指数関数的に増加するデータ量が必要であり、これはHughesの現象の一種であることを示す。
• Borel同型による次元削減により、任意の分離可能距離空間をR¹に写像可能であり、k-NNの一貫性を保証できる。これにより、普遍的一貫性が実現可能である。
• UCIデータセットにおける実験結果から、Borel削減により分類精度が維持または向上しており、Irisデータでは1次元化後に96%の精度を達成している。
• Borel同型アプローチは理論的に普遍的であり、元のドメインの次元に依存せず、ランダム射影やPCAに対する堅牢な代替手法を提供する。
• ターゲット概念Cの等周的性質、すなわちμ(Cε)の増加率は、分類器の複雑さと本質的次元の主要な指標である。