[論文レビュー] An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for Noisy Labels

Yong Wen, Marcus Kalander+2 more|arXiv (Cornell University)|Jul 6, 2021

Machine Learning and Data Classification参考文献 27被引用数 4

ひとこと要約

本稿では、モデルの合意とエントロピーに基づくラベル再重み付けを活用して、ノイズの多いデータセットからクリーンなサンプルを抽出する、アンサンブルノイズ耐性K-フォールド交差検証手法E-NKCVSを提案する。画像分類およびテキスト分類タスクにおいて最先端手法を上回り、Clothing-1Mでは75.0%、WebVisionでは77.6%の精度を達成し、高いノイズ比下でも一貫した向上効果を示し、クリーンデータでは最小限の性能低下にとどまる。

ABSTRACT

We consider the problem of training robust and accurate deep neural networks (DNNs) when subject to various proportions of noisy labels. Large-scale datasets tend to contain mislabeled samples that can be memorized by DNNs, impeding the performance. With appropriate handling, this degradation can be alleviated. There are two problems to consider: how to distinguish clean samples and how to deal with noisy samples. In this paper, we present Ensemble Noise-robust K-fold Cross-Validation Selection (E-NKCVS) to effectively select clean samples from noisy data, solving the first problem. For the second problem, we create a new pseudo label for any sample determined to have an uncertain or likely corrupt label. E-NKCVS obtains multiple predicted labels for each sample and the entropy of these labels is used to tune the weight given to the pseudo label and the given label. Theoretical analysis and extensive verification of the algorithms in the noisy label setting are provided. We evaluate our approach on various image and text classification tasks where the labels have been manually corrupted with different noise ratios. Additionally, two large real-world noisy datasets are also used, Clothing-1M and WebVision. E-NKCVS is empirically shown to be highly tolerant to considerable proportions of label noise and has a consistent improvement over state-of-the-art methods. Especially on more difficult datasets with higher noise ratios, we can achieve a significant improvement over the second-best model. Moreover, our proposed approach can easily be integrated into existing DNN methods to improve their robustness against label noise.

研究の動機と目的

• 高割合のノイズラベルを含むデータセット上で深層ニューラルネットワークを訓練する課題に対処すること。ノイズラベルはモデルの一般化性能を低下させる。
• 補助的なクリーンデータを必要とせずに、ノイズの多いデータからクリーンなサンプルを効果的に同定・選択する手法を開発すること。
• 予測の不確実性に基づいて、真のラベルと擬似ラベルの間の信頼度を動的に調整するラベル再重み付け方式を設計すること。
• さまざまなノイズレベルに耐性を持ち、既存のDNNフレームワークに容易に統合可能な手法を確保すること。

提案手法

• E-NKCVSはK-フォールド交差検証を用い、異なるデータ分割で複数のモデルを学習し、フォールド間で予測を統合してラベルの一貫性を評価する。
• 複数のフォールドで一貫した予測ラベルを示すサンプルは、クリーンである可能性が高いとされ、ラベルが一貫しないサンプルは潜在的にノイズを含むとマークされる。
• ノイズが疑われるまたは不確実なサンプルに対しては、与えられた（ノイズのある）ラベルとアンサンブル予測から生成された擬似ラベルを組み合わせたハイブリッドラベルが形成される。
• 擬似ラベルに割り当てる重みは、アンサンブル予測のエントロピーによって決定される。エントロピーが低いほど、擬似ラベルの信頼度が高くなる。
• 訓練中にMixupデータ拡張が適用され、モデルの耐性および一般化性能が向上する。
• 本手法はプラグアンドプレイ設計であり、既存のDNNアーキテクチャおよび損失関数と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルK-フォールド交差検証アプローチは、高比率のラベルノイズを含むデータセットにおいて、クリーンなサンプルを効果的に同定できるか？
• RQ2 真のラベルが信頼できない状況下で、エントロピーに基づくラベル再重み付けはモデル性能をどのように向上させるか？
• RQ3 E-NKCVSは、ノイズ比が高い状況で顕著な精度向上を示す一方で、クリーンデータでは高い性能を維持できるか？
• RQ4 実世界のノイズラベルを含むデータセット（例：Clothing-1M や WebVision）において、E-NKCVSは最先端手法と比較してどのように性能を発揮するか？

主な発見

• Clothing-1Mでは75.0%のテスト精度を達成し、先行する最先端手法を上回り、標準的な交差エントロピー損失（69.0%）を大きく上回る。
• (ミニ) WebVisionでは77.6%の精度を達成し、わずかに先行する最先端手法を上回り、DivideMix（77.3%）のような強力なベースラインをも上回る。
• 40%の非対称ラベルノイズを含むCIFAR-100では、2番目に優れたモデルと比較して顕著な改善を示し、困難なデータセットにおける強い耐性を示す。
• ラベルノイズが存在しない状況（ε=0）では、E-NKCVSは標準的な交差エントロピーとほぼ同等のテスト精度を維持しており、クリーンデータへの悪影響が最小限であることが示された。
• 合成的な対称および非対称ノイズ、および実世界のラベルノイズを含む複数のデータセットおよびノイズタイプにおいて、一貫した性能向上効果を示した。
• 詳細なハイパーパramータ分析により、本手法の多様なネットワークアーキテクチャおよび学習設定においても、耐性と汎用性が確認された。