[論文レビュー] k-NN Regression Adapts to Local Intrinsic Dimension

Samory Kpotufe|arXiv (Cornell University)|Oct 19, 2011

Statistical Methods and Inference参考文献 14被引用数 62

ひとこと要約

この論文は、k-NN回帰が、クエリ点の周囲の局所二重次元に適応することを示しており、収束速度が局所的内在次元にのみ依存することを導出している。局所的にk(x)をデータ駆動で選択する手法を提案し、内在次元の事前知識がなくてもほぼミニマックスレートを達成しており、任意の距離空間にダブリング測度が存在する場合に、ミニマックスレートが普遍的に成り立つことを証明している。

ABSTRACT

Many nonparametric regressors were recently shown to converge at rates that depend only on the intrinsic dimension of data. These regressors thus escape the curse of dimension when high-dimensional data has low intrinsic dimension (e.g. a manifold). We show that k-NN regression is also adaptive to intrinsic dimension. In particular our rates are local to a query x and depend only on the way masses of balls centered at x vary with radius. Furthermore, we show a simple way to choose k = k(x) locally at any x so as to nearly achieve the minimax rate at x in terms of the unknown intrinsic dimension in the vicinity of x. We also establish that the minimax rate does not depend on a particular choice of metric space or distribution, but rather that this minimax rate holds for any metric space and doubling measure.

研究の動機と目的

• クエリ点の周囲の局所的内在次元にのみ依存する収束速度をk-NN回帰が達成できることを示すこと。
• 内在次元の事前知識が不要な、実用的で局所的なk = k(x)の選択法を開発すること。
• k-NN回帰のミニマックスレートが、空間や分布の具体的な構造に依存せず、すべての距離空間とダブリング測度に対して普遍的であることを確立すること。

提案手法

• この手法は、ダブリング測度を用いて局所的次元の概念を定義し、xを中心とする球の質量が半径とともにどのように拡大するかを測定する。
• 局所的測度と標本サイズに基づくしきい値を用いて、バイアス（近傍距離r_k,n(x)によって制御）とバリアンス（1/kによって制御）のバランスを取ることで、k(x)をデータ駆動で選択する手順を導入する。
• 推定誤差を最小化するためにkを選び出すために、局所的球の質量μ(B(x,r))、標本サイズn、およびダブリング定数Cから導かれる臨界値κを用いる選択ルールを提示する。
• 集中不等式（補題1を用いて）により、高確率でk番目の近傍距離r_k,n(x)が局所的次元と標本サイズの関数によって有界であることを保証する。
• すべてのx ∈ Xにわたる一様収束を保証し、収束レートが未知の局所的次元d(x)にのみ依存する、縮小する近傍B(x,r)内に依存する。
• 標準的な回帰誤差分解の修正版を用いてバイアスとバリアンスの境界を組み合わせ、最終的な誤差境界がO(n^{-2/(2+d)})のオーダー（対数要因を除く）に比例することを理論的解析で示す。

実験結果

リサーチクエスチョン

• RQ1 k-NN回帰は、環境次元ではなく、データの局所的内在次元にのみ依存する収束速度を達成できるか？
• RQ2 局所的次元の事前知識がなくても、ほぼミニマックスレートを達成できるデータ駆動型k(x)の局所的選択法は存在するか？
• RQ3 k-NN回帰のミニマックスレートは、距離空間や分布の具体的な選択に依存するのか、それともすべてのダブリング測度に対して普遍的か？
• RQ4 近傍距離や標本数といった観測可能な量のみを用いて、k-NN回帰のバイアスとバリアンスのトレードオフをどのように局所的にバランスさせられるか？

主な発見

• k-NN回帰は、任意のクエリ点xに対して、xの近傍における局所的内在次元dを用いて、Õ(n^{-2/(2+d)})の収束速度を達成し、低次元多様体では次元の呪いを効果的に回避する。
• 提案されたk(x)選択ルールにより、dが未知であっても、すべてのx ∈ Xにわたって、ほぼミニマックスレートO(n^{-2/(2+d)})を一様に達成することが保証される。
• ミニマックスレートΩ(n^{-2/(2+d)})は、すべての距離空間とダブリング測度に対して普遍的に成り立ち、回帰問題の難易度が局所的測度拡張率にのみ依存することを示している。
• この手法は、局所的次元d(x)に比例する高確率誤差境界を保証し、誤差境界が局所的球の質量μ(B(x,r))と標本サイズnに依存する。
• 解析により、データのグローバルな複雑さ（例：空間を埋め尽くす曲線）が、k-NN回帰の局所的性能に影響しないことが示された。ただし、k/n → 0である限り有効である。
• 導出された誤差境界は、O((3Cθ_{n,δ}/(nμ(B(x,r))))^{2/(2+d)})の形を取り、既知のミニマックスレートと対数要因を除いて一致するため、ほぼ最適性が確認された。