[論文レビュー] SIGUA: Forgetting May Make Learning with Noisy Labels More Robust

Bo Han, Gang Niu+5 more|arXiv (Cornell University)|Sep 28, 2018

Machine Learning and Data Classification被引用数 64

ひとこと要約

SIGUAは mini-batch 内で、クリーンなデータに対する勾配降下とノイズのあるデータに対する勾配上昇を統合し、望ましくない過剰記憶の忘却を促し、基礎学習法を超えてノイズラベルに対する頑健性を向上させる。

ABSTRACT

Given data with noisy labels, over-parameterized deep networks can gradually memorize the data, and fit everything in the end. Although equipped with corrections for noisy labels, many learning methods in this area still suffer overfitting due to undesired memorization. In this paper, to relieve this issue, we propose stochastic integrated gradient underweighted ascent (SIGUA): in a mini-batch, we adopt gradient descent on good data as usual, and learning-rate-reduced gradient ascent on bad data; the proposal is a versatile approach where data goodness or badness is w.r.t. desired or undesired memorization given a base learning method. Technically, SIGUA pulls optimization back for generalization when their goals conflict with each other; philosophically, SIGUA shows forgetting undesired memorization can reinforce desired memorization. Experiments demonstrate that SIGUA successfully robustifies two typical base learning methods, so that their performance is often significantly improved.

研究の動機と目的

• 過剰パラメータ化された深層ネットでのノイズラベルを伴う学習の課題を動機づける。
• トレーニング中に良いデータと悪いデータのバランスを取るための、確率的統合勾配下重み付き上昇(SIGUA)を導入する。
• SIGUAを既存の基盤学習法と組み合わせて、ラベルノイズ下での一般化を改善する方法を示す。
• 望ましくない過剰記憶を忘却することが望ましい memorization を補強する理由に関する理論的・経験的洞察を提供する。

提案手法

• 基礎学習アルゴリズムBとその前向きおよび後向きパスを定義する。
• 各ミニバッチで損失を計算し、C_goodおよびC_badを基盤法と関連させてデータを良い/悪いとして分類する。
• 良いデータの正の損失を蓄積し、悪いデータの負の損失を因子gammaで低重み付けして勾配上昇を実装する。
• 改変損失をバッチ内で平均化し、逆伝播を行い最適化子のステップを実行する。
• C_goodとC_badのマスクで損失を重み付けるベクトル化版を含む、計算的に効率的な形を提供する。
• SIGUAがStopGrad (gamma=0) および全勾配上昇(gamma=1)を特別な場合として包含することを示す。
• 自己教師付け(サンプル選択)および後向き補正(損失補正)にSIGUAを適用して、その汎用性を示す。

実験結果

リサーチクエスチョン

• RQ1 ノイズラベルを含む訓練を、クリーンデータを記憶する能力を損なうことなく正則化するにはどうすればよいか？
• RQ2 特定のデータに対する勾配上昇を通じた選択的忘却は、ラベルノイズ下での一般化を改善できるか？
• RQ3 SIGUAは自己教師付けや後向き補正など既存のノイズ付きラベル学習戦略とどのように相互作用し、改善するか？
• RQ4 共通のノイズ付きラベルシナリオに対して良データ/悪データ条件の実用的な具体例は何か？
• RQ5 混合の降下/上昇更新を行う際、下寄りパラメータgammaの導入は最適化を安定化させるか？

主な発見

方法	MNIST/ CIFAR-10（説明）	主要指標 / 結果	注記
標準	40%のオープンセットノイズ（SVHN）を含む CIFAR-10	56.44%（テスト精度）	SIGUAなしのベースライン。
自己	40%のオープンセットノイズ（SVHN）を含む CIFAR-10	79.72%	自己教師付けベースライン。
SIGUA SL	40%のオープンセットノイズ（SVHN）を含む CIFAR-10	81.31%	小損失データ条件を用いたSIGUA; 自己を上回る。
BC	40%のオープンセットノイズ（SVHN）を含む CIFAR-10	52.03%	後向き補正ベースライン。
nnBC	40%のオープンセットノイズ（SVHN）を含む CIFAR-10	73.39%	非負のBCバリアント。
SIGUA BC	40%のオープンセットノイズ（SVHN）を含む CIFAR-10	74.33%	バックワード補正付きSIGUA。

• SIGUAは、ノイズラベル設定でMNISTおよびCIFAR-10において、標準的な訓練およびベースラインのノイズラベル手法より頑健性を大幅に向上させる。
• MNISTで対称ラベルノイズ80%の場合、SIGUAは反転ラベルの忘却をほぼ完全に引き起こし、テスト精度を23%から95%へ向上させる。
• CIFAR-10で40%のオープンセットノイズでは、SIGUA–BCは標準BCおよびnnBCより平均テスト精度が高く、SIGUA–SLもさまざまなノイズ条件でSelf-Teachingを上回る。
• SIGUAはStopGradと全勾配上昇を特別な場合として包含し、下方寄りパラメータgammaは悪データ上での上昇中の最適化を安定させる。
• このフレームワークは自己教師付け(サンプル選択)と後向き補正(損失補正)の両方を頑健化することが示されており、ノイズ付きラベル学習戦略全般への広い適用性を示す。