[論文レビュー] On the Resistance of Nearest Neighbor to Random Noisy Labels

Wei Gao, Binbin Yang+1 more|arXiv (Cornell University)|Jul 26, 2016

Machine Learning and Data Classification参考文献 66被引用数 15

ひとこと要約

本稿では、ランダムなノイズのあるラベルに対して inherently な頑健性を示す $k$-NN の性質を活用し、最も深刻に誤った例にのみ補正を行う R$k$NN と呼ばれる手法を提案する。理論的には、対称的ノイズ下で $k$-NN が一貫性を示し、非対称的ノイズ下でも頑健であることを証明しており、実験的検証ではノイズ推定が不正確であっても、ベンチマークデータセット上で優れた性能を示している。

ABSTRACT

Nearest neighbor has always been one of the most appealing non-parametric approaches in machine learning, pattern recognition, computer vision, etc. Previous empirical studies partly shows that nearest neighbor is resistant to noise, yet there is a lack of deep analysis. This work presents the finite-sample and distribution-dependent bounds on the consistency of nearest neighbor in the random noise setting. The theoretical results show that, for asymmetric noises, k-nearest neighbor is robust enough to classify most data correctly, except for a handful of examples, whose labels are totally misled by random noises. For symmetric noises, however, k-nearest neighbor achieves the same consistent rate as that of noise-free setting, which verifies the resistance of k-nearest neighbor to random noisy labels. Motivated by the theoretical analysis, we propose the Robust k-Nearest Neighbor (RkNN) approach to deal with noisy labels. The basic idea is to make unilateral corrections to examples, whose labels are totally misled by random noises, and classify the others directly by utilizing the robustness of k-nearest neighbor. We verify the effectiveness of the proposed algorithm both theoretically and empirically.

研究の動機と目的

• ランダムなラベルノイズ下での $k$-NN の一貫性を理論的に分析すること、特に有限サンプルおよび分布依存の設定下での分析を目的とする。
• 理論的根拠が限られているにもかかわらず、$k$-NN がなぜ実際にはラベルノイズに対して頑健であると観察されるのかを理解することを目的とする。
• この頑健性を活用しつつ、最も破壊された例にのみ補正を行う実用的なアルゴリズムを開発することを目的とする。
• 理論的発見を、さまざまなノイズレベルを有する合成データおよび実世界のデータセット上で、実験的に検証することを目的とする。

提案手法

• R$k$NN を提案し、ランダムなノイズによって完全に誤ったラベルをもたらされた例のみを特定・補正する。
• ノイズ割合 $\hat{\tau}_+$ および $\hat{\tau}_-$ の推定に $k'$-近傍を用い、補正意思決定を支援する。
• ラベルが誤ってラベル付けされていると高い信頼性で特定できるインスタンスにのみ片側ラベル補正を適用し、残りの例については $k$-NN の頑健性を保持する。
• ベイジアンフレームワークを用いてノイズ率を推定し、パrameter選択をガイドすることで理論的一致性を保証する。
• パrametricな仮定に依存せずに、近傍推定を統合して誤ってラベル付けされたインスタンスを検出し、補正する。
• 複数のデータセットにわたるベースラインとの性能向上を統計的に検証するために、ベイジアンt検定を用いる。

実験結果

リサーチクエスチョン

• RQ1 ランダムなラベルノイズ下で、$k$-NN は有限サンプルおよび分布依存の設定下で、どのように一貫性を示すのか？
• RQ2 $k$-NN がなぜランダムなラベルノイズに対して頑健であるのか、そしてその頑健性がどのような条件下で崩壊するのか？
• RQ3 $k$-NN の頑健性を活用しつつ、最も深刻に汚染された例にのみ補正を行う実用的なアルゴリズムを設計できるか？
• RQ4 実世界のデータセットにおいて、$k'$-NN を用いたノイズ推定はどれほど正確であり、R$k$NN はパrameter選択に対してどれほど感度を示すか？
• RQ5 さまざまなノイズ設定下で、R$k$NN は既存の手法を分類精度の面で上回るのか？

主な発見

• 対称的ラベルノイズ下では、$k$-NN はノイズなしの設定と同等の一貫性率を達成し、ランダムなノイズに対して耐性があることを確認した。
• 非対称的ノイズ下でも、$k$-NN は一貫性を保ち、ラベルが完全に誤って導かれた少数のインスタンスを除き、大多数の例を正しく分類する。
• 理論的分析により、1-NN ですら対称的ノイズ下でも一貫性が保証されないことが示され、$k > 1$ の重要性が浮き彫りになった。
• R$k$NN はベンチマークデータセットで最先端の性能を達成し、ベイジアンt検定で64回の比較のうち53回で勝利した。
• $k'$-NN を用いたノイズ推定は粗いが、R$k$NN が高水準の性能を維持できることから、推定誤差に対して頑健であることが示された。
• 実験的結果から、R$k$NN はサンプルサイズの増加に伴い安定的かつ収束的であり、$k \geq 10$ であれば $k$ の選択にほとんど感度を示さないことが分かった。