[論文レビュー] SemiNLL: A Framework of Noisy-Label Learning by Semi-Supervised Learning

Zhuowei Wang, Jing Jiang+5 more|arXiv (Cornell University)|Dec 2, 2020

Machine Learning and Data Classification参考文献 52被引用数 10

ひとこと要約

本稿では、ラベルノイズ下でのディープラーニングの性能向上を目的として、エンドツーエンドでサンプル選択（SS）戦略と半教師あり学習（SSL）バックボーンを統合する包括的フレームワーク、SemiNLLを提案する。強力なSS手法（例：DivideMix+、GPL）とSSLモデルの柔軟な組み合わせを可能にすることで、模擬的および実世界のノイズありデータセットにおいて最先端の性能を達成し、Clothing1Mでは74.14%のテスト精度を達成した。

ABSTRACT

Deep learning with noisy labels is a challenging task. Recent prominent methods that build on a specific sample selection (SS) strategy and a specific semi-supervised learning (SSL) model achieved state-of-the-art performance. Intuitively, better performance could be achieved if stronger SS strategies and SSL models are employed. Following this intuition, one might easily derive various effective noisy-label learning methods using different combinations of SS strategies and SSL models, which is, however, reinventing the wheel in essence. To prevent this problem, we propose SemiNLL, a versatile framework that combines SS strategies and SSL models in an end-to-end manner. Our framework can absorb various SS strategies and SSL backbones, utilizing their power to achieve promising performance. We also instantiate our framework with different combinations, which set the new state of the art on benchmark-simulated and real-world datasets with noisy labels.

研究の動機と目的

• ラベルノイズの影響を受けるとモデル性能が著しく低下するという課題に対処すること。
• 特定のSS戦略とSSLモデルを個別に再発明し直す非効率性と重複を解消し、それらを統合的に組み合わせること。
• 多様なSS戦略とSSLバックボーンをシームレスに統合できる汎用性の高いフレームワークを開発し、優れた性能を達成すること。
• フレームワーク内に統合された強力な個々のコンponents（SSおよびSSL）が、全体の性能向上に寄与することを示すこと。

提案手法

• ラベルノイズ学習に特化したエンドツーエンドのフレームワーク、SemiNLLを提案し、サンプル選択（SS）と半教師あり学習（SSL）を統合する。
• 従来のエポック単位選択とは異なり、低損失に基づいて動的にクリーンサンプルを選択するミニバッチレベルのSS戦略を導入する。
• 自己予測分割、GMMなどの多様なSS戦略と、MixMatch、Pseudo-Labeling、Temporal Ensemblingなどの複数のSSLバックボーンを統合する。
• 2つの新規手法をフレームワークに実装する：DivideMix+（MixMatch SSLバックボーンとミニバッチSSを組み合わせ）、GPL（2成分GMMによる選択とPseudo-LabelingをSSLバックボーンに使用）。
• データオーグメンテーション（例：MixUp）と一貫性正則化、エントロピー最小化をSSLバックボーン内で活用し、未ラベルデータに対する一般化性能を向上させる。
• 選択されたクリーンサンプルに対する交差エントロピーと、未ラベルサンプルに対する一貫性・エントロピー正則化を統合した目的関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 多様なサンプル選択戦略と半教師あり学習バックボーンを統合する包括的フレームワークは、ノイズありラベル学習における性能向上に有効に機能するか？
• RQ2 高ノイズ比下において、ミニバッチレベルのサンプル選択戦略はエポックレベル選択戦略と比較して、ロバスト性と精度の面で優れているか？
• RQ3 強力なSSLバックボーン（例：MixMatch、Pseudo-Labeling）を高度なSS戦略と組み合わせることで、性能はどの程度向上するか？
• RQ4 実世界のノイズありデータセット（例：Clothing1M）において、本フレームワークは既存の最先端手法と比較してどの程度の性能を発揮するか？
• RQ5 高ノイズ比の非対称ノイズ設定下で、ガウス・ミックス・モデル（GMM）と自己予測ベース選択の効果はどのように異なるか？

主な発見

• DivideMix+はClothing1Mデータセットで74.14%のテスト精度を達成し、元のDivideMixおよび他のSOTA手法を上回った。
• CIFAR-100の対称的80%ノイズ比設定下で、DivideMix+は自己予測分割を用いるDivideMix-と比較して+12.69%の精度向上を達成し、高ノイズ下におけるGMMベース選択の優位性を示した。
• 2成分GMMによるサンプル選択とPseudo-LabelingをSSLバックボーンに用いるGPLは、特に高ノイズ環境下で優れた性能を発揮した。
• CIFAR-100の80%ノイズ比下で、自己予測分割とPseudo-Labelingを組み合わせたSPD-Pseudo-Labelingは、SPD-MixMatchより21.44%、SPD-Temporal Ensemblingより42.66%高いテスト精度を達成した。
• SSLバックボーンを削除（つまり、交差エントロピーによるクリーンサンプルのみの学習）した場合、特に高ノイズ比および多数クラスを含むデータセットでは性能が著しく低下した。これは、未ラベルデータを活用することが極めて重要であることを示している。
• SemiNLLにおけるミニバッチSS戦略は、特に高ノイズ比の困難な設定下で、DivideMixが採用するエポックレベル戦略を常に上回る性能を発揮した。