[論文レビュー] Towards Understanding Deep Learning from Noisy Labels with Small-Loss Criterion

Xian-Jin Gui, Wei Wang+1 more|arXiv (Cornell University)|Jun 17, 2021

Machine Learning and Data Classification参考文献 33被引用数 12

ひとこと要約

本稿は、ノイズのあるラベルを伴うディープラーニングにおける小さな損失基準の理論的分析を提供し、対角優勢なラベルノイズ下でなぜそれが機能するかを説明する。適応的再重み付けを組み込んだ再定式化された重み付き小さな損失基準を提案し、さまざまなノイズ設定下で合成データおよび実世界のデータセットにおいて、より高いロバストネスと精度を示すことを実証した。

ABSTRACT

Deep neural networks need large amounts of labeled data to achieve good performance. In real-world applications, labels are usually collected from non-experts such as crowdsourcing to save cost and thus are noisy. In the past few years, deep learning methods for dealing with noisy labels have been developed, many of which are based on the small-loss criterion. However, there are few theoretical analyses to explain why these methods could learn well from noisy labels. In this paper, we theoretically explain why the widely-used small-loss criterion works. Based on the explanation, we reformalize the vanilla small-loss criterion to better tackle noisy labels. The experimental results verify our theoretical explanation and also demonstrate the effectiveness of the reformalization.

研究の動機と目的

• 小さな損失基準がディープラーニングにおけるノイズのあるラベルを効果的に処理できる理由を理論的に説明すること。
• 小さな損失基準が機能するための必要な理論的条件——対角優勢ノイズ——を同定すること。
• 損失の大きさに基づく適応的再重み付けを導入することで、元の小さな損失基準を再定式化すること。
• 理論的洞察を実証的に検証し、ノイズのあるベンチマークデータセットにおける性能向上を示すこと。

提案手法

• 理論的分析により、小さな損失基準が良好に一般化する条件を導出し、対角優勢ノイズが不可欠であることを示した。
• 例の重みが平均損失の増加に伴い指数関数的に減少する重み付き小さな損失基準を提案し、感度を制御するハイパーパrameter κ を使用した。
• 再重み付け関数を導入：w(x,ỹ) = exp(−κ·(ℓ̄(x,ỹ)−ℓ*(i))/(ℓ*(i)−ℓ*(i))) ここで ℓ*(i) はクラス i に対する最小損失である。
• データオーグメンテーション、ラベル推定、鋭くする処理を組み合わせた半教師付きフレームワーク（Weighted_MixMatch）に重み付き選択を適用した。
• 高損失例を訓練セットで低重み化する重み付きリサンプリング戦略を採用し、ノイズの影響を低減した。
• 標準的な MixMatch をベースメソッドとして採用し、損失に基づく再重み付けと κ のハイパーパrameterチューニングを拡張して適用した。

実験結果

リサーチクエスチョン

• RQ1 小さな損失基準が、どのような理論的条件下でノイズのあるラベルから学習することができるか？
• RQ2 ラベルノイズが存在するにもかかわらず、小さな損失基準が実際にはなぜ機能するのか？
• RQ3 元の小さな損失基準は、ノイズのあるラベルをより効果的に処理できるようにどのように改善できるか？
• RQ4 損失値に基づいて選択された例の再重み付けの最適な戦略は何か？
• RQ5 ハイパーパrameter κ の選択が、さまざまなノイズタイプとレート下での性能にどのように影響するか？

主な発見

• 小さな損失基準は、ラベルノイズが対角優勢である場合に効果的に機能する。これは、先行研究における一般的な仮定と整合的である。
• κ > 0 を用いた提案された重み付き小さな損失基準は、CIFAR-10 および CIFAR-100 におけるすべてのノイズタイプとレートで、元のバージョンを一貫して上回る性能を示した。
• CIFAR-10 で 50% の一様ノイズを想定した場合、κ = −log(0.7) の場合に 93.38% の最高精度を達成し、κ = 0.0 の 93.21% より顕著に優れていた。
• CIFAR-10 で r=0.4 のペアワイズノイズを想定した場合、κ = −log(0.7) の場合に 89.77% の精度を達成し、κ = 0.0 の 88.87% よりも優れていた。
• CIFAR-100 で 40% の一様ノイズを想定した場合、κ = −log(0.7) の場合に 71.51% の精度を達成し、κ = 0.0 の 71.33% を上回った。
• 結果から、ラベル選択の正確性が低い場合、たとえばペアワイズまたは構造的ノイズ設定では、より大きな κ 値が有益であることが示された。