[論文レビュー] Learning with Confident Examples: Rank Pruning for Robust Classification with Noisy Labels

Curtis G. Northcutt, Tailin Wu+1 more|arXiv (Cornell University)|May 4, 2017

Machine Learning and Data Classification被引用数 68

ひとこと要約

Rank Pruning (RP) は、非対称ノイズのラベルを推定し、信頼できる予測を用いて誤ラベリングされた例を剪定することで、ノイズ付きラベルを持つバイナリ分類に対して時間効率の高い解を提供し、理想条件下でクリーンラベル学習と同等のリスクを達成します。

ABSTRACT

Noisy PN learning is the problem of binary classification when training examples may be mislabeled (flipped) uniformly with noise rate rho1 for positive examples and rho0 for negative examples. We propose Rank Pruning (RP) to solve noisy PN learning and the open problem of estimating the noise rates, i.e. the fraction of wrong positive and negative labels. Unlike prior solutions, RP is time-efficient and general, requiring O(T) for any unrestricted choice of probabilistic classifier with T fitting time. We prove RP has consistent noise estimation and equivalent expected risk as learning with uncorrupted labels in ideal conditions, and derive closed-form solutions when conditions are non-ideal. RP achieves state-of-the-art noise estimation and F1, error, and AUC-PR for both MNIST and CIFAR datasets, regardless of the amount of noise and performs similarly impressively when a large portion of training examples are noise drawn from a third distribution. To highlight, RP with a CNN classifier can predict if an MNIST digit is a "one"or "not" with only 0.25% error, and 0.46 error across all digits, even when 50% of positive examples are mislabeled and 50% of observed positive labels are mislabeled negative examples.

研究の動機と目的

• 非対称ラベルノイズ ($\tilde{P}\tilde{N}$ 学習) を伴うバイナリ分類の問題を動機づけ、形式化する。
• ノイズ率 $\rho_1$ と $\rho_0$ を推定し、誤ラベリングされた例を剪定する Rank Pruning (RP) を提案する。
• RP が理想的条件下で一貫したノイズ推定とクリーンラベル学習に等しい期待リスクを達成すること、非理想的な場合には閉形式解を提供することを示す。
• RP のスケーラビリティと堅牢性を、データセット（MNIST、CIFAR）と分類器（LR、CNN）を跨いで示す。
• 効率性を損なうことなく、RP が F1、AUC-PR、エラーを改善することを理論的保証と実証的証拠として提供する。

提案手法

• 予測ラベルの確信度の高いカウントから非対称ノイズ率 $\rho_1$ および $\rho_0$ を推定し、堅牢でサンプル外推定を実現する。\n1
• モデル予測から LB および UB の閾値を計算し、汚染データを確信できる正解/不正解のサブセットに分割する。
• BFPRT を用いて、対応する $\tilde{P}$ および $\tilde{N}$ の分数を剪定し、$\\,O(n)$ 時間で $\tilde{P}_{conf}$ および $\tilde{N}_{conf}$ を得る。
• 推定されたノイズを相殺するため、確信サブセット上でクラス条件付き重み付けを用いて分類器を再適合させる。
• レンジ分離性のもとで、RP はクリーンラベルからの学習と同等の期待リスクをもたらすことを証明する（定理5）。
• 非理想的な場合の閉形式解を提供し、理想/非理想条件の下で一貫性を確立する（補題/定理）。

実験結果

リサーチクエスチョン

• RQ1 破損ラベルから、非対称ノイズ率 $\rho_1$ および $\rho_0$ を正確に推定できるか？
• RQ2 理想的条件下で、RP はクリーンラベル学習と同等の期待リスクを与えるか？
• RQ3 $g$ が理想的でない場合や $P$ と $N$ のサポートが重複する場合、RP はどう機能するか？
• RQ4 RP は大規模データセットや複雑な分類器に対して時間効率が良く、スケーラブルか？
• RQ5 MNIST、CIFAR、およびさまざまなノイズレベルに渡って、RP は標準指標（F1、AUC-PR、エラー）を改善するか？

主な発見

• RP は $\tilde{P}\tilde{N}$ データで頑健で時間効率の良いノイズ率推定を達成する。
• 理想条件下で、RP のノイズ推定は正確で、結果としてのリスクは真のラベルによる学習と一致する。
• RP は $g$ が不完全な場合でも堅牢であり、非理想的なシナリオに対する閉形式の調整を提供する。
• 経験的には、RP はMNISTとCIFARで、さまざまなノイズレベルおよび第三分布からの追加ノイズに対して、最先端のF1、AUC-PR、エラーを達成する。
• MNISTのCNNでは、ラベルノイズが大きい場合（例: 50% 誤ラベル）でも、one-vs-not-one で 0.25% のエラー、全体で 0.46% のエラーに達する。
• RP はデータサイズ、特徴次元、ノイズ分数とともにスケールし、適合時間を O(T) 、剪定は線形の複雑さを維持する。