[論文レビュー] Bootstrapping the Relationship Between Images and Their Clean and Noisy Labels

Brandon Smart, Gustavo Carneiro|arXiv (Cornell University)|Oct 17, 2022

Water Systems and Optimization被引用数 4

ひとこと要約

本論文は、事前にラベル付けされたクリーンデータセットを必要とせずに、画像とクリーンラベル、ノイズラベルの関係を学習する3段階のトレーニングアルゴリズムを提案する。自己教師あり事前学習、信頼性の高いクリーンセットを特定するためのエアリー・ストッピング、残りのデータを再ラベルするための半教師あり学習を組み合わせることで、単一でシンプルなモデルアーキテクチャを用いて、非対称的かつインスタンス依存のラベルノイズベンチマークで最先端の性能を達成する。

ABSTRACT

Many state-of-the-art noisy-label learning methods rely on learning mechanisms that estimate the samples' clean labels during training and discard their original noisy labels. However, this approach prevents the learning of the relationship between images, noisy labels and clean labels, which has been shown to be useful when dealing with instance-dependent label noise problems. Furthermore, methods that do aim to learn this relationship require cleanly annotated subsets of data, as well as distillation or multi-faceted models for training. In this paper, we propose a new training algorithm that relies on a simple model to learn the relationship between clean and noisy labels without the need for a cleanly labelled subset of data. Our algorithm follows a 3-stage process, namely: 1) self-supervised pre-training followed by an early-stopping training of the classifier to confidently predict clean labels for a subset of the training set; 2) use the clean set from stage (1) to bootstrap the relationship between images, noisy labels and clean labels, which we exploit for effective relabelling of the remaining training set using semi-supervised learning; and 3) supervised training of the classifier with all relabelled samples from stage (2). By learning this relationship, we achieve state-of-the-art performance in asymmetric and instance-dependent label noise problems.

研究の動機と目的

• 実世界のデータセットにおけるクリーンラベルが入手不可な状況下でのインスタンス依存ラベルノイズ（IDN）の課題に対処すること。
• 事前にラベル付けされたクリーンサブセットに依存せずに、画像、ノイズラベル、クリーンラベルの関係を学習すること。
• モデル蒸留の必要性を排除するため、エンド・ツー・エンド推論を可能にする「ラベルドロップ」戦略を導入すること。
• 単一でシンプルなモデルアーキテクチャを用いて、非対称的およびインスタンス依存のラベルノイズベンチマークで最先端の性能を達成すること。

提案手法

• 対照的学習（例：SimCLR）を用いて、全トレーニングセットに対して自己教師あり事前学習を実施し、堅牢な画像表現を学習する。
• ノイズラベルを予測するための「ヌル」ラベルを用いた分類器のトレーニングを行い、エアリー・ストッピングを用いて高信頼性の予測を示すサブセットを、仮のクリーンセットとして特定する。
• ブートストラップ段階でノイズ遷移サンプルバランシングを適用し、すでに正しいとされているサンプルに偏らないようにし、多様なノイズ遷移が反映されるようにする。
• 特定されたクリーンセットを用いて半教師あり学習段階を実施し、画像、ノイズラベル、クリーンラベルの関係を明示的に学習することで、残りのデータの再ラベル化を効果的に行う。
• MixUpと強力なデータオーグメンテーションを用いて、再ラベルされたサンプルを用いて全データセットに対して最終的な教師ありトレーニングを実施し、一般化性能を向上させる。
• トレーニング中にノイズラベルをランダムに「ヌル」ラベルに置き換える「ラベルドロップ」戦略を導入し、蒸留の必要性を排除するとともに、ラベル付きおよびラベルなしの両方のサンプルに対して直接推論を可能にする。

Figure 1: On the left, we show a ‘normal’ deep neural network model used for noisy label learning tasks. On the right, we present a ‘modified’ model that can learn the relationship between images $\mathbf{x}$ , noisy labels $\tilde{\mathbf{y}}$ and clean labels $\mathbf{y}$ , similar to those used b

実験結果

リサーチクエスチョン

• RQ1 事前にラベル付けされたクリーンデータセットにアクセスできない状況下でも、モデルは画像、ノイズラベル、クリーンラベルの関係を学習できるか？
• RQ2 自己教師あり学習、エアリー・ストッピング、半教師あり学習を組み合わせた3段階のブートストラッププロセスは、インスタンス依存ノイズ環境下での再ラベル精度を向上させるか？
• RQ3 ブートストラップ段階でノイズ遷移バランシングを適用することで、選択されたクリーンセットへのバイアスを防ぎ、下流の再ラベル性能を向上させられるか？
• RQ4 提案手法は、非対称的およびインスタンス依存のラベルノイズベンチマークで、単一でシンプルなモデルアーキテクチャを用いて最先端の性能を達成できるか？
• RQ5 「ラベルドロップ」戦略により、蒸留の必要性を排除しつつ、ノイズありおよびクリーンな両方のサンプルで性能を維持できるか？

主な発見

• CIFAR-10で40％の非対称的ラベルノイズを想定した場合、本手法は95.85％の最先端の正確度を達成し、既存手法を上回る。
• ブートストラップ段階後、モデルの正確度は91.41％に達し、半教師あり学習後に94.98％に向上し、最終トレーニング段階でMixUpと強力なオーグメンテーションを適用することで95.85％に到達する。
• 自己教師あり事前学習により、ブートストラップされたクリーンセット内の誤り数は、事前学習なしの369件から、事前学習ありの21件にまで大幅に減少し、クリーンセットの品質が著しく向上する。
• ブートストラップ段階のトレーニング時に強力なオーグメンテーションを適用することで、クリーンセットの誤り数は、オーグメンテーションなしの579件から31件にまで減少し、強力なオーグメンテーションの正則化効果が明確に示された。
• 「ラベルドロップ」戦略により、蒸留を経由せずとも、ノイズありおよびクリーンな両方のサンプルに対して直接推論が可能となり、デプロイメントおよびモデルサービングの簡素化が可能になる。
• 本手法は、インスタンス依存および非対称的ラベルノイズベンチマークで、単一モデルアーキテクチャを用いて最先端の結果を達成するが、従来の最先端手法（例：DivideMix）は複雑な2モデル構成を必要としていたのに対し、本手法は単一モデルで実現している。

Figure 2: Our proposed algorithm. The bootstrapping stage consists of self-supervised pre-training, followed by early-stopping classification training to identify a small set of confidently relabelled samples (i.e., clean labelled samples). This set is then used to learn the relationship between ima