[論文レビュー] Unsupervised Label Noise Modeling and Loss Correction

Eric Arazo, Diego Ortego+3 more|arXiv (Cornell University)|Apr 25, 2019

Machine Learning and Data Classification被引用数 198

ひとこと要約

本論文は、各サンプルの学習損失に対して2成分Beta混合モデルを用いてラベルノイズをモデル化し、クリーンなサンプルとノイズサンプルを検出する。さらにダイナミックブootstrapping損失を適用し、場合によりmixupと組み合わせて、クリーンデータを必要とせずに頑健に学習する。

ABSTRACT

Despite being robust to small amounts of label noise, convolutional neural networks trained with stochastic gradient methods have been shown to easily fit random labels. When there are a mixture of correct and mislabelled targets, networks tend to fit the former before the latter. This suggests using a suitable two-component mixture model as an unsupervised generative model of sample loss values during training to allow online estimation of the probability that a sample is mislabelled. Specifically, we propose a beta mixture to estimate this probability and correct the loss by relying on the network prediction (the so-called bootstrapping loss). We further adapt mixup augmentation to drive our approach a step further. Experiments on CIFAR-10/100 and TinyImageNet demonstrate a robustness to label noise that substantially outperforms recent state-of-the-art. Source code is available at https://git.io/fjsvE

研究の動機と目的

• トレーニングデータにラベルノイズが含まれる場合でも、クリーンデータへのアクセスを前提とせず頑健な学習を動機づける。
• クリーン/ノイズサンプルの所有度を、教師なしの損失ベースのBeta混合モデルでモデル化する。
• ノイズモデルに基づくサンプルごとの損失修正（ダイナミックブートストラッピング）を開発する。
• 提案損失補正とともにmixupデータ拡張を組み合わせ、クリーンデータがなくても頑健性を向上させる。
• 変動するノイズレベル下でCIFAR-10/100およびTinyImageNetで最先端の性能を示す。

提案手法

• トレーニング損失に対して2成分のBeta混合モデルを適合させることで、クリーン/ノイズサンプルの尤度を推定する。
• EMを用いてBetaパラメータとクリーン成分/ノイズ成分の事後確率p(k|loss)を推定する。
• サンプルごとの重みw_i = p(k=1|loss_i)を用いて、真のラベルとモデル予測の寄与を動的に調整するダイナミックブートストラップ損失を導出する。
• ダイナミックブootstrappingをmixupデータ拡張と組み合わせ、サンプルとラベルのノイズ事後確率を用いて重み付け・拡張を行う混合損失を作成する。
• 訓練中の崩壊を1つのクラスへ収束させないよう正則化項を導入する。
• 極端なラベルノイズ下で収束を改善するため、サンプルごとのノイズ推定に基づいて混合戦略を適応させるダイナミックなmixup変法を提供する。

実験結果

リサーチクエスチョン

• RQ1 教師なしでサンプルごとの損失ベースのモデルがクリーンなラベルを持つサンプルとノイズのサンプルを分離できるか。
• RQ2 サンプル損失上のBeta混合モデルは訓練中の損失を修正する信頼できる事後確率を提供するか。
• RQ3 ダイナミックなサンプルごとのブートストラッピングは静的ブートストラッピングや標準のクロスエントロピーと比べてラベルノイズに対する頑健性を向上させるか。
• RQ4 提案された損失補正とmixupを結合すると、高ノイズ下でmixup単独より堅牢性が強化されるか。

主な発見

• サンプルごとの損失のBeta混合モデルはクリーンとノイズのサンプルを効果的に分離し、サンプルごとの損失補正を可能にする。
• ダイナミックブートストラッピング（サンプルごとの重み付け）は静的ブートストラッピングを一貫して上回り、特にノイズが高いレベルで優位性を示す（例: 80%および90%で顕著）。
• ダイナミック重み付きハードブootstrappingとmixupの組み合わせ（M-DYR-H）は高ノイズ時のCIFAR-10で大幅な精度向上を達成（例: 80%ノイズ時で最高86.8%、90%時で40.8%）およびCIFAR-100で最高12.5%（80%ノイズ時）など、表中の90%での値を含む。
• 動的ブートストラッピングとmixupの共同適用は、mixup単独より頑健性を大きく改善し、CIFAR-10/100で高ノイズ時に新しいベースラインを設定する。
• 本アプローチはCIFARを超えてTinyImageNetへも一般化され（MD-DYR-SHは一貫してベースラインmixupより上回る）、 TinyImageNetでも優れた頑健性を示す。
• Clothing1Mでは事前学習済みネットワークのファインチューニングが無監視ノイズモデル化を制限し、データセット特有の課題を示唆する。