[論文レビュー] Fast Rates for a kNN Classifier Robust to Unknown Asymmetric Label Noise

Henry W. J. Reeve, Ata Kabán|arXiv (Cornell University)|Jun 11, 2019

Machine Learning and Data Classification被引用数 9

ひとこと要約

本稿は、GaoらのロバストkNN分類器が、回帰関数に測度滑らかさ条件が成り立ち、Tsybakovのマージン条件を満たす場合、未知の非対称ラベルノイズのもとで、対数要因を除いてミニマックス最適な高速レートを達成することを確立している。標準kNNとは異なり、ノイズ確率が未知であっても、この手法は一貫性を保ち、高速レートを達成する。

ABSTRACT

We consider classification in the presence of class-dependent asymmetric label noise with unknown noise probabilities. In this setting, identifiability conditions are known, but additional assumptions were shown to be required for finite sample rates, and so far only the parametric rate has been obtained. Assuming these identifiability conditions, together with a measure-smoothness condition on the regression function and Tsybakov's margin condition, we show that the Robust kNN classifier of Gao et al. attains, the minimax optimal rates of the noise-free setting, up to a log factor, even when trained on data with unknown asymmetric label noise. Hence, our results provide a solid theoretical backing for this empirically successful algorithm. By contrast the standard kNN is not even consistent in the setting of asymmetric label noise. A key idea in our analysis is a simple kNN based method for estimating the maximum of a function that requires far less assumptions than existing mode estimators do, and which may be of independent interest for noise proportion estimation and randomised optimisation problems.

研究の動機と目的

• 未知の非対称ラベルノイズ下でのkNN分類における高速収束レートの確立。
• クラス条件付きノイズ確率に関する事前知識が欠如している場合でも、ロバストkNN分類器が最適なレートを維持できることの示唆。
• 統計的学習において未知の非対称ラベルノイズが、ノイズなし設定と同等の難易度である条件の同定。
• ロバストkNNアルゴリズムの実験的成功に対する理論的裏付けの提供。

提案手法

• ノイズありラベルから腐敗した回帰関数 η_corr を推定するプラグイン法に基づくロバストkNN分類器が用いられる。
• 真の回帰関数 η を回復するために、関係式 η_corr(x) = (1 - p₀ - p₁)η(x) + p₀ から導かれる線形方程式系を解く手法に依存する。
• 既存のモード推定器よりも弱い仮定で十分な、関数の最大値を推定する新しいkNNベースの推定量が提案され、ノイズ割合の推定に用いられる。
• 解析では、η に対する測度滑らかさ条件（修正されたリプシッツ条件に類似）とTsybakovのマージン条件を仮定する。
• ノイズ確率の同定可能性と上記の正則性条件の両方の仮定の下で、一貫性および高速レート解析が行われる。
• 適切な k_n スケーリングの下で収束を保証するため、集中不等式とBorel-Cantelliの補題を用いて理論的保証が導出される。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズが非対称的で、その確率が未知である場合、kNN分類で高速レートを達成できるか？
• RQ2 未知の非対称ラベルノイズ下での学習の統計的難易度は、ミニマックスの意味でノイズなし設定と同等か？
• RQ3 回帰関数とマージン分布に関する正則性条件が成り立つ場合、ロバストkNN分類器は未知のノイズ確率下でも高速レートを維持できるか？
• RQ4 既存のモード推定器よりも弱い仮定で十分な、単純なkNNベースの最大値推定器は存在するか？
• RQ5 標準kNNはなぜ非対称ラベルノイズ下で失敗するのか？ そして、その一貫性はどのように回復できるか？

主な発見

• ロバストkNN分類器は、未知の非対称ラベルノイズ下で、対数要因を除いてミニマックス最適な高速レートを達成する。
• 測度滑らかさの条件とTsybakovのマージン条件が成り立つ場合、ノイズなし時の最適レートと一致する。
• 標準kNNは、ノイズ確率が既知であっても、訓練時とテスト時の回帰関数の分布シフトのため、非一貫性を示す。
• 提案されたkNNベースの最大値推定器は、既存のモード推定器よりも著しく弱い仮定で十分であり、ノイズ割合推定や確率的最適化に有用である可能性がある。
• 理論的解析により、与えられた条件下で未知の非対称ラベルノイズ下での学習は、ノイズなしの場合と統計的に同等の難易度であることが確認された。
• ロバストkNN手法は、標準kNNと同様の k_n スケーリング（k_n/n → 0、k_n/log n → ∞）の下で一貫性を示すが、追加の正則性仮定がなければ高速レートに達しない。