[論文レビュー] SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels

Yangdi Lu, Wenbo He|arXiv (Cornell University)|May 2, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

SELCは、学習の初期エポックにおける自己アンサンブル予測を用いて、段階的に誤りのあるラベルを是正することで、ノイズのあるラベルを用いた深層ニューラルネットワークの学習を簡潔かつ効果的に行う手法である。記憶化の転換点以前のモデル出力の指数移動平均を活用することで、誤ラベルへの過学習を低減し、対称的、クラス条件的、インスタンス依存のノイズ設定のあらゆる状況で最先端の性能を達成する。ハイパーパrameterへの感受性も最小限に抑えられている。

ABSTRACT

Deep neural networks are prone to overfitting noisy labels, resulting in poor generalization performance. To overcome this problem, we present a simple and effective method self-ensemble label correction (SELC) to progressively correct noisy labels and refine the model. We look deeper into the memorization behavior in training with noisy labels and observe that the network outputs are reliable in the early stage. To retain this reliable knowledge, SELC uses ensemble predictions formed by an exponential moving average of network outputs to update the original noisy labels. We show that training with SELC refines the model by gradually reducing supervision from noisy labels and increasing supervision from ensemble predictions. Despite its simplicity, compared with many state-of-the-art methods, SELC obtains more promising and stable results in the presence of class-conditional, instance-dependent, and real-world label noise. The code is available at https://github.com/MacLLL/SELC.

研究の動機と目的

• 深層ニューラルネットワークが学習中に誤ったラベルに過学習する問題に対処すること。
• クリーンなサンプルに対するモデル予測が信頼できる初期段階の記憶化行動を特定・活用すること。
• テストデータやノイズ率の情報が不要な状況でも、履歴のモデル予測を用いて監視信号を精錬するラベル是正手法を開発すること。
• 既存の学習手法（例：mixup）と容易に統合可能な、堅牢でシンプルかつ効果的なアプローチを構築すること。

提案手法

• SELCは、学習の初期エポックにおけるモデル出力の指数移動平均（EMA）を用いて自己アンサンブル予測を形成し、ノイズのあるラベルよりも信頼性の高いターゲットとして利用する。
• この手法は、EMAに基づくアンサンブル予測と元のノイズラベルをモーメンタム重み付き更新で統合することで、動的に元のノイズラベルを是正する。
• テストデータやノイズ率の情報が不要な状況でも、損失モデリングに基づく新しい非教師あり指標を提案し、記憶化の開始時期（誤ラベルの記憶が開始される時点）を推定する。
• 是正プロセスは、段階的にノイズラベルへの依存を減らし、より安定したアンサンブル予測への依存を増やすことで、一般化性能を向上させる。
• このアプローチは、mixupなどのデータオーグメンテーション技術とも互換性があり、統合することで性能がさらに向上する。

実験結果

リサーチクエスチョン

• RQ1 クリーンなサンプルからの初期段階で一貫したモデル予測を活用して、学習中にノイズラベルを是正できるか？
• RQ2 テストデータやノイズ率の情報が入手不可な状況でも、誤ラベルの記憶が開始される訓練の転換点を検出できるか？
• RQ3 過去のモデル予測の自己アンサンブルが、さまざまなノイズタイプ下でラベル是正とモデル一般化性能の向上に寄与できるか？
• RQ4 さまざまなノイズレベルや設定において、SELCは最先端の手法と比較して、堅牢性と安定性に優れているか？

主な発見

• SELCは、対称的、クラス条件的、インスタンス依存のラベルノイズを伴うCIFAR-10で最先端の性能を達成し、あらゆるノイズ比において既存手法を上回る。
• CIFAR-10で80％の対称的ノイズを伴う状況では、標準的なクロスエントロピー学習に比べてテスト精度が10％以上向上した。
• CIFAR-100で70％のPMDノイズを伴う状況では、ベースラインに比べて約10％の精度向上を達成し、高ノイズレベル下でも強い耐性を示した。
• 実世界のデータセットでは、ANIMAL-10NおよびWebvisionでベースラインを上回り、シンプルであるにもかかわらず、Clothing1MではPLCなどの最先端手法と同等の性能を達成した。
• SELCの是正精度は、訓練エポックにわたり安定的かつ高い水準を維持しており、信頼性の高い一貫性のあるラベル是正を示している。
• ハイパーパrameter α に対してはやや感受性を示すが、α値が0.85、0.9、0.95の範囲で性能低下が最小限に抑えられており、ハイパーパrameter選択に対して堅牢であることが示された。