[論文レビュー] Robust and On-the-fly Dataset Denoising for Image Classification

Jiaming Song, Lunjia Hu+3 more|arXiv (Cornell University)|Mar 24, 2020

Machine Learning and Data Classification参考文献 45被引用数 5

ひとこと要約

本稿では、大きな学習率を用いた確率的勾配降下法（SGD）の暗黙的正則化の性質を活用することで、画像分類データセットにおける誤標籠例を効果的かつ効率的に特定・除去する、On-the-fly Data Denoising（ODD）という手法を提案する。ODDは、ネットワークパラメータのみを用いて一様にランダムなラベルの反事後損失分布をモデル化し、この分布の高い分位数（例：95パーセンタイル）を超える損失を示す例を識別して即座に訓練データセットから削除する。この手法により、WebVision や Clothing1M といったノイズの多いデータセットで最先端の性能を達成し、計算コストはほぼゼロに抑えられる。

ABSTRACT

Memorization in over-parameterized neural networks could severely hurt generalization in the presence of mislabeled examples. However, mislabeled examples are hard to avoid in extremely large datasets collected with weak supervision. We address this problem by reasoning counterfactually about the loss distribution of examples with uniform random labels had they were trained with the real examples, and use this information to remove noisy examples from the training set. First, we observe that examples with uniform random labels have higher losses when trained with stochastic gradient descent under large learning rates. Then, we propose to model the loss distribution of the counterfactual examples using only the network parameters, which is able to model such examples with remarkable success. Finally, we propose to remove examples whose loss exceeds a certain quantile of the modeled loss distribution. This leads to On-the-fly Data Denoising (ODD), a simple yet effective algorithm that is robust to mislabeled examples, while introducing almost zero computational overhead compared to standard training. ODD is able to achieve state-of-the-art results on a wide range of datasets including real-world ones such as WebVision and Clothing1M.

研究の動機と目的

• 大規模で弱教師ありのデータセットにおける誤標籠例の影響によるモデル一般化性能の低下を是正すること。
• ラベルノイズの分布や信頼できる例（trusted examples）に関する事前知識に依存しないノイズ除去手法の開発。
• 最小限の計算コストで、トレーニング中に効果的かつリアルタイムにノイズの多い例を削除可能にする。
• アーキテクチャやハイパーパrameterの変更なしに、現実世界のノイズのあるデータセットおよびクリーンなベンチマークで性能を向上させること。

提案手法

• 初期トレーニング段階で大きな学習率スケジュールを用いることで、クリーンな例と一様にノイズの強い例との間で損失の差が明確に現れるようにする。
• 実際にノイズラベルでトレーニングする必要なく、トレーニング済みのネットワークパラメータのみを用いて、一様にランダムなラベルの反事後損失分布をモデル化する。
• このモデル化された損失分布の高分位数（例：95パーセンタイル）からしきい値を導出し、潜在的に誤標籠されている可能性のある例を特定する。
• 損失がしきい値を超える例は、即座に訓練データセットから削除され、クリーニングされたセットでトレーニングが継続される。
• 元のラベル分布に依存せず、ノイズレベルや誤分類行列の事前知識がなくても動作する。
• ODDはファインチューニング段階で適用可能であり、標準的なトレーニングパイプラインにほとんど影響を与えずにシームレスに統合可能。

実験結果

リサーチクエスチョン

• RQ1 大きな学習率を用いたSGDの暗黙的正則化を活用することで、誤標籠例とクリーンな例を区別できるか？
• RQ2 ネットワークパラメータのみを用いて、一様にランダムなラベルの反事後損失分布をモデル化できるか？
• RQ3 この反事後損失分布の分位数を超える損失を示す例を削除することで、ノイズの多いデータセットにおける一般化性能が向上するか？
• RQ4 学習率スケジュールや pruning 確率（pruning ratio）といったハイパーパrameterの変化に対して、ODDはどれほどロバストか？
• RQ5 外部の教師信号なしに、CIFAR-100 のような「クリーン」なデータセットで誤標籠例を検出できるか？

主な発見

• ODDは WebVision や Clothing1M といった現実世界のノイズの多いデータセットで最先端の精度を達成し、ノイズ遷移行列や補助モデルを必要とする手法を上回る。
• WebVision データセットでは、トップ1精度が 78.9% を達成し、GCE や Joint Optimization といった先行手法を上回った。
• Clothing1M ではトップ1精度が 88.7% を達成し、LCCN や DMI といった手法を上回り、LC と同等または上回った（LC はクリーンラベルに依存しているが）。
• CIFAR-10 や ImageNet のクリーンなデータセットでも、標準的な ERM トレーニングと同等の性能を維持した。
• アブレーションスタディの結果、pruning 確率（p）やトレーニングエポック数（E）の変化に対してもODDはロバストであり、p=10 と E=100 の組み合わせが最良のトレードオフを示した。
• 定性的な分析により、真のノイズラベルが存在しない状況下でも、ODDがCIFAR-100データセットにおける誤標籠例を効果的に同定できていることが確認された。