[論文レビュー] Learning with Feature-Dependent Label Noise: A Progressive Approach

Yikai Zhang, Songzhu Zheng+3 more|arXiv (Cornell University)|Mar 13, 2021

Machine Learning and Data Classification参考文献 37被引用数 32

ひとこと要約

Progressive Label Correction (PLC) を紹介し、Bayes最適分類器へ収束する理論的保証付きの PMD ノイズに対処、強力な実証結果。

ABSTRACT

Label noise is frequently observed in real-world large-scale datasets. The noise is introduced due to a variety of reasons; it is heterogeneous and feature-dependent. Most existing approaches to handling noisy labels fall into two categories: they either assume an ideal feature-independent noise, or remain heuristic without theoretical guarantees. In this paper, we propose to target a new family of feature-dependent label noise, which is much more general than commonly used i.i.d. label noise and encompasses a broad spectrum of noise patterns. Focusing on this general noise family, we propose a progressive label correction algorithm that iteratively corrects labels and refines the model. We provide theoretical guarantees showing that for a wide variety of (unknown) noise patterns, a classifier trained with this strategy converges to be consistent with the Bayes classifier. In experiments, our method outperforms SOTA baselines and is robust to various noise types and levels.

研究の動機と目的

• i.i.d. 仮定を超えたヘテロジニアスで特徴依存的ラベルノイズの下での学習を動機づける。
• 現実世界のラベル汚染パターンを一般化するための PMD ノイズ族を導入する。
• 収束保証を備えたデータ再校正型の Progressive Label Correction アルゴリズムを開発する。
• PMD ノイズ下で Bayes分類器への収束を示す理論解析を提供する。
• 標準ベンチマークと実データで SOTA ベースラインに対する経験的優位性を示す。

提案手法

• マージン t0 を用い、決定境界から離れた領域に適用される境界外の境界を持つ PMD（Poly-Margin Diminishing）ラベルノイズを定義する。
• Progressive Label Correction（PLC）を提案する：ウォームアップ学習を行い、その後高信頼度分類器を用いてラベルを反復的に訂正し、時間とともに閾値を下げる。
• ラベル訂正とモデル再訓練を交互に行い、ラベル純度とモデル精度を漸進的に改善する。
• 多クラスに拡張するため、上位予測ギャップを訂正判断に用いる。
• アルゴリズム1として、パラメータ選択と停止基準を含む正式なアルゴリズム手順を示す。
• 理論的保証（定理1および補助レマ）を提供し、PLC がラベル純度を改善し、 η* へ収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 PMDノイズを伴うデータ再校正手法によって Bayes 最適分類器への収束を証明可能か？
• RQ2 PMDノイズは一般的なノイズモデルをどう一般化するか、PLC はこのノイズ下でラベルを頑健に訂正できるか？
• RQ3 PLC が各反復で改善を保証し、全体収束を保証する理論的条件は何か？
• RQ4 CIFAR-10/100 のさまざまなノイズパターンと Clothing1M の実データで、PLC はSOTAノイズ対応法と経験的にどう比較されるか？
• RQ5 閾値設定や訂正ペースのハイパーパラメータ選択に対して PLC は頑健か？

主な発見

データセット	ノイズ	標準	Co-teaching+	GCE	SL	LRT	PLC（ours）
CIFAR-10	Type-I (35%)	78.11±0.74	79.97±0.15	80.65±0.39	79.76±0.72	80.98±0.80	82.80±0.27
CIFAR-10	Type-I (70%)	41.98±1.96	40.69±1.99	36.52±1.62	36.29±0.66	41.52±4.53	42.74±2.14
CIFAR-10	Type-II (35%)	76.65±0.57	77.34±0.44	77.60±0.88	77.92±0.89	80.74±0.25	81.54±0.47
CIFAR-10	Type-II (70%)	45.57±1.12	45.44±0.64	40.30±1.46	41.11±1.92	44.67±3.89	46.04±2.20
CIFAR-10	Type-III (35%)	76.89±0.79	78.38±0.67	79.18±0.61	78.81±0.29	81.08±0.35	81.50±0.50
CIFAR-10	Type-III (70%)	43.32±1.00	41.90±0.86	37.10±0.59	38.49±1.46	44.47±1.23	45.05±1.13
CIFAR-100	Type-I (35%)	57.68±0.29	56.70±0.71	58.37±0.18	55.20±0.33	56.74±0.34	60.01±0.43
CIFAR-100	Type-I (70%)	39.32±0.43	39.53±0.28	40.01±0.71	40.02±0.85	45.29±0.43	45.92±0.61
CIFAR-100	Type-II (35%)	57.83±0.25	56.57±0.52	58.11±1.05	56.10±0.73	57.25±0.68	63.68±0.29
CIFAR-100	Type-II (70%)	39.30±0.32	36.84±0.39	37.75±0.46	38.45±0.45	43.71±0.51	45.03±0.50
CIFAR-100	Type-III (35%)	56.07±0.79	55.77±0.98	57.51±1.16	56.04±0.74	56.57±0.30	63.68±0.29
CIFAR-100	Type-III (70%)	40.01±0.18	35.37±2.65	40.53±0.60	39.94±0.84	44.41±0.19	44.45±0.62

• PLC は CIFAR-10/100 において、35%および70%の破損レベルで複数の PMD ノイズタイプに対して最先端の精度を達成。
• ハイブリッドノイズ（特徴依存 + i.i.d.）下で、PLC はベースラインを上回り、ノイズの多様な設定で頑健性を維持。
• Clothing1M では、現実的な大規模ノイズデータセットを用いて複数のベースラインと対等な精度を示す。
• 定理1を含む理論結果は、 PMD ノイズ下で PLC が高確率で Bayes 最適分類器へ収束することを示す、穏当な仮定のもと。
• ウォームアップ相と徐々に厳しくなる訂正閾値により、“純粋”領域の拡大と全体のラベル純度の向上を保証する。