[論文レビュー] Reliable Label Correction is a Good Booster When Learning with Extremely Noisy Labels

Kai Wang, Xiangyu Peng+5 more|arXiv (Cornell University)|Apr 30, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、極端なラベルノイズ下での深層学習の性能向上を目的として、信頼性の高いラベル補正とサンプル選択を組み合わせた新しいフレームワーク、LC-Boosterを提案する。サンプル選択から得られる洗練されたクリーンセットを活用して正確なラベル補正を可能にすることで、クリーンセットのサイズを拡大しながらも、高いラベル精度を維持し、CIFAR-10では90%の対称的ノイズ下で92.9%、CIFAR-100では48.4%の精度を達成した。これは、最先端手法を上回るものである。

ABSTRACT

Learning with noisy labels has aroused much research interest since data annotations, especially for large-scale datasets, may be inevitably imperfect. Recent approaches resort to a semi-supervised learning problem by dividing training samples into clean and noisy sets. This paradigm, however, is prone to significant degeneration under heavy label noise, as the number of clean samples is too small for conventional methods to behave well. In this paper, we introduce a novel framework, termed as LC-Booster, to explicitly tackle learning under extreme noise. The core idea of LC-Booster is to incorporate label correction into the sample selection, so that more purified samples, through the reliable label correction, can be utilized for training, thereby alleviating the confirmation bias. Experiments show that LC-Booster advances state-of-the-art results on several noisy-label benchmarks, including CIFAR-10, CIFAR-100, Clothing1M and WebVision. Remarkably, under the extreme 90\% noise ratio, LC-Booster achieves 92.9\% and 48.4\% accuracy on CIFAR-10 and CIFAR-100, surpassing state-of-the-art methods by a large margin.

研究の動機と目的

• 極端なラベルノイズ下ではクリーンサンプルの数が訓練に有効であるほど小さくなるため、既存のサンプル選択手法の性能低下を是正すること。
• サンプル選択の文脈において、ラベル補正を信頼性を持って適用できるかを検証し、確認バイアスを引き起こさずにクリーンセットのサイズを拡大できるかを調査すること。
• サンプル選択とラベル補正を統合的に活用することで、極端なノイズ下でもモデルの一般化性能を向上させるフレームワークを開発すること。
• 外部のクリーンアーカイブやブートストラップを必要とせず、洗練されたクリーンセット上で信頼性の高いラベル補正を適用することで、性能を顕著に向上させられることを実証すること。

提案手法

• フレームワークは、GMM損失に基づくサンプル選択を用いてクリーンサンプルとノイズありサンプルを分離するためのウォームアップ段階から始める。
• クリーンサンプルは教師あり損失で訓練され、ノイズありサンプルは弱化・強化の両方のビュー間で一貫性を強制するハイブリッド増幅（H-Aug.）戦略を用いて非教師ありの方法で処理される。
• 中間トレーニング段階で、洗練されたクリーンセットで訓練されたモデルの予測を用いて、クリーンサンプルおよびノイズありサンプルのラベルを再修正する信頼性のあるラベル補正（ReCo）を適用する。
• ReCoメカニズムは、信頼度スコアのしきい値を用いて高精度なラベル修正を保証し、適切なしきい値設定におけるラベル精度の理論的裏付けが与えられている。
• 確認バイアスを回避するため、信頼性の高いモデル予測を提供する高洗練度のクリーンセットに依存している。
• ReCoの後、フレームワークは動的にクリーンセットのサイズを拡大し、高品質なトレーニングサンプルの数を顕著に増加させる。

実験結果

リサーチクエスチョン

• RQ1 確認バイアスを引き起こさずに、サンプル選択フレームワークにおいてラベル補正を信頼性を持って適用し、クリーンセットのサイズを拡大できるか？
• RQ2 サンプル選択とラベル補正を組み合わせることで、極端なラベルノイズ（例：90%ノイズ）下でも一般化性能が向上するか？
• RQ3 特に90%を超えるノイズレベルにおいて、LC-Boosterの性能は最先端手法と比較してどのように異なるか？
• RQ4 洗練されたクリーンセット上で適用されたラベル補正の精度は、理論的に保証可能か？
• RQ5 トレーニング中に一度だけラベル補正を実行すれば、最適な性能が得られるか？

主な発見

• LC-Boosterは、CIFAR-10では90%の対称的ノイズ下で92.9%、CIFAR-100では48.4%のテスト精度を達成し、先行研究の最先端手法を顕著に上回った。
• 90%の対称的ノイズ下でLC-Boosterの再ラベル付け精度は90%を超えた。これは、ノイズラベルを洗練する優れた能力を示している。
• LC-Boosterにおけるクリーンセットのサイズは、ラベル補正後に顕著に拡大し、DivideMixを大きく上回り、性能向上に寄与した。
• LC-Boosterはトレーニング全体を通じて、クリーンサンプル選択のAUCがより高く維持されており、ベースライン手法よりもクリーンサンプルの識別がより正確であることを示している。
• ノイズレベルを90%から93%に引き上げた際、LC-BoosterとDivideMixの性能差は拡大し、極端なノイズ下でも高いロバストネスを示している。
• 100エポック目に一度だけ再ラベル付けを行うだけで十分であり、さらなる再ラベル付けは精度向上に寄与しなかった。これは、ラベル補正の最適タイミングを示している。