[論文レビュー] SplitNet: Learnable Clean-Noisy Label Splitting for Learning with Noisy Labels

Dae-Hwan Kim, Kwangrok Ryoo+2 more|arXiv (Cornell University)|Nov 20, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

SplitNet は、ノイズありラベル学習（LNL）におけるクリーン・ノイズありラベル分割のための学習可能でエンド・ツー・エンドのモジュールを提案する。スプリット信頼度を用いて半教師あり学習のしきい値を動的に調整する。複数のベンチマークで最先端の性能を達成し、特に高ノイズ比下でも優れた性能を発揮する。単一のモデルと最小限のハイパーパrameterチューニングで実現可能である。

ABSTRACT

Annotating the dataset with high-quality labels is crucial for performance of deep network, but in real world scenarios, the labels are often contaminated by noise. To address this, some methods were proposed to automatically split clean and noisy labels, and learn a semi-supervised learner in a Learning with Noisy Labels (LNL) framework. However, they leverage a handcrafted module for clean-noisy label splitting, which induces a confirmation bias in the semi-supervised learning phase and limits the performance. In this paper, we for the first time present a learnable module for clean-noisy label splitting, dubbed SplitNet, and a novel LNL framework which complementarily trains the SplitNet and main network for the LNL task. We propose to use a dynamic threshold based on a split confidence by SplitNet to better optimize semi-supervised learner. To enhance SplitNet training, we also present a risk hedging method. Our proposed method performs at a state-of-the-art level especially in high noise ratio settings on various LNL benchmarks.

研究の動機と目的

• 高ノイズ比下で確認バイアスと一般化性能の低下を示す、手作業で設計されたクリーン・ノイズありラベル分割手法の限界を是正する。
• 予測履歴と損失分布を活用するデータ駆動型の学習可能モジュール（SplitNet）を構築し、従来のGMMベース手法を上回るサンプルの区別を実現する。
• スプリット信頼度を用いた動的しきい値設定機構を設計し、ノイズあり環境下での半教師あり学習の安定性を高め、過学習を低減する。
• リスクヘッジを導入することで、ノイズ比に依存しない堅牢な学習を実現し、モデルの信頼度と推定されたノイズレベルに基づいて学習カリキュラムを適応的に調整する。
• 単一のモデルと固定されたハイパーパrameterで、複数のベンチマークで最先端の性能を達成し、実世界への導入可能性を向上させる。

提案手法

• 予測履歴と個別サンプルの損失を入力として受け取り、エンド・ツー・エンドで学習可能な、クリーン／ノイズありラベルを予測する深層ニューラルネットワーク（SplitNet）を導入する。
• スプリット信頼度（予測の確実性を示す学習されたスコア）を用い、半教師あり学習における疑似ラベルのしきい値を固定値から動的に設定する。
• 主ネットワークとSplitNetを交互に更新する訓練フレームワークを実装する：主ネットワークは予測と損失を提供し、SplitNetはクリーンデータと信頼度スコアを供給する。
• SplitNetの事前学習段階でK分割交差フィルタリングを適用し、低信頼度のサンプルを除外することで、教師信号のノイズを低減する。
• リスクヘッジを導入：信頼度の高いクリーンおよびノイズありサンプルを優先するカリキュラム学習戦略を採用し、SplitNetの堅牢性を向上させ、確認バイアスを低減する。
• スプリット信頼度に基づく動的しきい値を用いて主ネットワークを最適化し、高信頼度の疑似ラベルのみをSSLで使用することで、訓練の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習可能なニューラルネットワークベースのモジュールは、GMMのような手作業で設計された手法を上回り、高ラベルノイズ下でもクリーン・ノイズありサンプルを区別できるか？
• RQ2 予測履歴をラベル分割に組み込むことで、損失のみに依存する手法に比べて、曖昧なサンプルにおいて性能が向上するか？
• RQ3 スプリット信頼度に基づく動的しきい値設定は、ノイズありラベル環境下での半教師あり学習の安定性と正確性をどの程度向上させるか？
• RQ4 リスクヘッジにより、明示的なノイズ比推定を必要とせず、ノイズ比に応じて適応的に学習カリキュラムを調整する自然なカリキュラムを構築できるか？
• RQ5 提案フレームワークは、ノイズ比に依存せず、単一のモデルと固定されたハイパーパrameterで、多様なベンチマークで最先端の性能を達成できるか？

主な発見

• CIFAR-100 で 90% のラベルノイズを想定した場合、SplitNet はトップ-1正確度 72.1% を達成し、DivideMix（68.4%）や AugDesc（69.2%）を大きく上回った。
• CIFAR-100 で 20%、40%、60%、80%、90% の全ノイズ比において、単一のモデルと固定されたハイパーパrameterで優れた性能を発揮した。これは、従来手法が再チューニングを要するのとは対照的である。
• CIFAR-100 で 90% のノイズを想定したアブレーションスタディでは、スプリット信頼度に基づく動的しきい値が、固定しきい値（0.5 や 0.95）に比べて誤った疑似ラベルの発生率を 20–30% 減少させた。
• K ≥ 8 のK分割交差フィルタリングは性能を安定化させ、80% および 90% のノイズ設定で K=8 で性能が飽和することが示された。これは、パーティショニングに対して堅牢であることを示している。
• 訓練時間は効率的である：CIFAR-10 で 20% のノイズを想定した場合、SplitNet は 8.2 時間で訓練を完了し、AugDesc（8.7 時間）を上回り、DivideMix と同等の性能を発揮した。
• アブレーションスタディにより、SplitNet からバッチ正規化や予測差分を削除すると、訓練の失敗や性能低下が生じることが確認され、アーキテクチャ設計の妥当性が裏付けられた。