[論文レビュー] On the Robustness of Nearest Neighbor with Noisy Data

Wei Gao, Binbin Yang+1 more|arXiv (Cornell University)|Jul 26, 2016

Machine Learning and Data Classification参考文献 30被引用数 1

ひとこと要約

本稿は、ランダムノイズ下でのk近傍法（k-NN）の耐性について理論的分析を行い、対称的ノイズ下では一貫性を保ち、非対称的ノイズに対しても例外的に誤分類される少数の例を除き、耐性を示すことを示している。本稿では、k-NNの本質的耐性を活用しながら、最も深刻に誤導された例にのみ補正を行うRobust k-Nearest Neighbor（RNN）を提案し、ノイズのあるラベルデータセットにおいて優れた性能を達成している。

ABSTRACT

Nearest neighbor has always been one of the most appealing non-parametric approaches in machine learning, pattern recognition, computer vision, etc. Previous empirical studies partially demonstrate that nearest neighbor is resistant to noise, yet there is a lack of deep analysis. This work presents a full understanding on the robustness of nearest neighbor in the random noise setting. We provide finite-sample, distribution-dependent bounds on the consistency of nearest neighbor. The theoretical results show that, for asymmetric noises, k-nearest neighbor is robust enough to classify most data correctly, except for a handful of examples, whose labels are totally misled by random noises. For symmetric noises, however, k-nearest neighbor achieves the same consistent rate as that of noise-free setting, which verifies the robustness of $k$-nearest neighbor. Motivated by theoretical analysis, we propose the Robust k-Nearest Neighbor (RNN) approach to deal with noisy labels. The basic idea is to make unilateral corrections to examples, whose labels are totally misled by random noises, and classify the others directly by utilizing the robustness of k-nearest neighbor. Extensive experiments show the effectiveness and robustness of the proposed algorithm.

研究の動機と目的

• 有限標本および分布依存設定におけるk-NNの理論的耐性を理解すること。
• k-NNがノイズのあるラベル下でも一貫性を保つ条件を特定すること、特に対称的ノイズと非対称的ノイズの違いを区別すること。
• k-NNの耐性を活用しながら、最も深刻に汚染されたラベルにのみ補正を行う実用的手法を開発すること。
• ノイズのあるデータセットを用いた広範な実験を通じて、提案されたRNN手法の有効性を検証すること。

提案手法

• 理論的分析により、ランダムノイズ下でのk-NNの一貫性に関する有限標本および分布依存の境界を導出する。
• 本手法は、対称的ノイズと非対称的ノイズを区別し、対称的ノイズ下ではノイズなしの場合と同等の一致率を達成することを示している。
• k-NNのラベルがノイズによって完全に誤導されている例を特定・補正する、Robust k-Nearest Neighbor（RNN）アルゴリズムを提案する。
• 残りの例については、標準的なk-NNを直接用いて分類し、ノイズに対するk-NNの本質的耐性を活用する。
• ラベル補正は、予測の信頼性および期待されるラベルパターンからの逸脱に基づき、片側的に行われる。

実験結果

リサーチクエスチョン

• RQ1 有限標本設定下で、どのようなノイズ条件下でk-NNは一貫性を保つのか？
• RQ2 k-NNの性能は、対称的ノイズと非対称的ランダムノイズの下でどのように異なるのか？
• RQ3 最も深刻に誤分類された例にのみ補正を行うが、k-NNの耐性を保つような手法を設計できるか？
• RQ4 対称的ノイズ下でのk-NNの理論的一貫性レートは、ノイズなし設定と比較してどうなるか？

主な発見

• 対称的ノイズ下では、k-NNはノイズなし設定と同等の一致分類率を達成し、耐性があることが確認された。
• 非対称的ノイズ下でも、k-NNは耐性を示すが、ノイズによって完全に誤導されたラベルを持つ少数の例については誤分類される可能性がある。
• 提案されたRNN手法は、最も深刻に汚染されたラベルを効果的に特定・補正し、不必要な補正を最小限に抑えることができる。
• 実験により、RNNはノイズのあるラベルを含むデータセットにおいて、標準k-NNおよび他のベースラインを上回ることを示し、実用的耐性が確認された。