[論文レビュー] On the Consistency of Exact and Approximate Nearest Neighbor with Noisy Data.

Wei Gao, Xinyi Niu+1 more|arXiv (Cornell University)|Jul 26, 2016

Machine Learning and Algorithms被引用数 6

ひとこと要約

本稿では、ランダムノイズ下における正確および近似k近傍（k-NN）手法の一貫性を分析し、ノイズのない状況と同一の収束速度でk-NNが一貫性を保つことを証明している。一方、1-NNはノイズの影響を受けてバイアスを示す。本稿では、ジョンソン＝リンデンストラウスの補題を無限集合へ一般化し、近似k-NNがノイズに対してロバストであることを示した。また、次元削減がきつい場合、バース・リスクからのずれが大きくなるが、収束速度が速くなるというトレードオフが生じる。

ABSTRACT

Nearest neighbor has been one of the simplest and most appealing non-parametric approaches in machine learning, pattern recognition, computer vision, etc. Empirical studies show the resistance of k-nearest neighbor to noise, yet the theoretical understanding is not clear. This work presents the consistency analysis on exact and approximate nearest neighbor in the random noise setting. Our theoretical studies show that k-nearest neighbor, in the noise setting, gets the same consistent rate as that in the noise-free setting, which verifies the robustness of k-nearest neighbor to random noise. The nearest neighbor (1-NN), however, is proven to be biased by random noise. For approximate $k$-nearest neighbor, we first generalize the Johnson-Lindenstrauss lemma to infinite set, and based on this result, we show that the approximate $k$-nearest neighbor is also robust to random noise as that of the exact k-nearest neighbor, and achieves faster convergence rate yet with a tradeoff between consistency and reduced dimension. Specifically, approximate $k$-nearest neighbor with sharp dimensional reduction tends to cause large deviation from the Bayes risk.

研究の動機と目的

• ランダムノイズが存在する状況における正確および近似k-NNの一貫性を理論的に分析すること。
• データがランダムノイズによって汚染された場合に、k-NNが元の収束速度と一貫性を保つかどうかを調査すること。
• 次元削減下における近似k-NNのロバスト性と一貫性とのトレードオフを検討すること。
• 1-NNがランダムノイズ下でどのように振る舞うかを理論的に明確にし、k-NNと対比すること。
• 近似k-NNの理論的分析を支援するため、ジョンソン＝リンデンストラウスの補題を無限集合へ拡張すること。

提案手法

• ランダムノイズモデル下でのk-NNの一貫性の理論的分析を行い、ノイズなし状況との収束速度を比較する。
• 近似k-NNの分析を可能にするために、ジョンソン＝リンデンストラウスの補題を無限次元集合へ一般化する。
• ランダムノイズ下における近似k-NNの一致性バウンドを導出し、次元削減とバース・リスクからのずれを関連付ける。
• k-NNがランダムノイズ下でもノイズなし状況と同一の一致性レートを維持することを形式的証明する。
• 確率論的および測度論的道具を用いて、ノイズ下での最近傍分類器の挙動を分析する。
• 近似k-NNにおける次元削減とバース・リスクからのずれの増加とのトレードオフを定量的に分析する。

実験結果

リサーチクエスチョン

• RQ1 k-NNはランダムノイズ下でもノイズなし状況と同一の一致性レートを維持するか？
• RQ2 1-NNはランダムノイズによってバイアスを受けるのか？その場合、k-NNとはどのように異なるか？
• RQ3 ジョンソン＝リンデンストラウスの補題を無限集合へ拡張できるか？その拡張が近似k-NNの理論的分析を支援できるか？
• RQ4 近似k-NNはランダムノイズ下で一貫性および収束速度の観点でどのように性能を示すか？
• RQ5 近似k-NNにおいて、次元削減とバース・リスクからのずれの増加との間にはどのようなトレードオフがあるか？

主な発見

• k-NNはランダムノイズ下でもノイズなし状況と同一の一致性レートを維持しており、そのロバスト性が確認された。
• 1-NNはランダムノイズの影響を受けてバイアスを示すことが証明されたが、k-NNは依然として一貫性を保つ。
• ジョンソン＝リンデンストラウスの補題が無限集合へ一般化され、近似k-NNの理論的分析を可能にした。
• 近似k-NNがランダムノイズに対してロバストであることが示され、正確k-NNよりも高速な収束を達成した。
• 近似k-NNにおける急激な次元削減は、バース・リスクからのずれを増大させることが示され、速度と一貫性のトレードオフが明らかになった。