[論文レビュー] Understanding (Generalized) Label Smoothing when Learning with Noisy Labels.

Jiaheng Wei, Hangyu Liu+3 more|arXiv (Cornell University)|Jun 8, 2021

Machine Learning and Data Classification参考文献 50被引用数 7

ひとこと要約

本稿では、正例ラベルスムージング（PLS）と負例ラベルスムージング（NLS）を統一する一般化ラベルスムージング（GLS）を導入し、従来軽視されてきたNLSが高ラベルノイズ下でモデルのロバストネスを顕著に向上させることを示している。標準的なPLSを上回る性能を発揮する。本研究は理論的および実験的証拠を提示し、ノイズ率が高い状況下でNLSがモデルの信頼性と一般化性能を向上させることを裏付けている。

ABSTRACT

Label smoothing (LS) is an arising learning paradigm that uses the positively weighted average of both the hard training labels and uniformly distributed soft labels. It was shown that LS serves as a regularizer for training data with hard labels and therefore improves the generalization of the model. Later it was reported LS even helps with improving robustness when learning with noisy labels. However, we observe that the advantage of LS vanishes when we operate in a high label noise regime. Puzzled by the observation, we proceeded to discover that several proposed learning-with-noisy-labels solutions in the literature instead relate more closely to negative label smoothing (NLS), which defines as using a negative weight to combine the hard and soft labels! We show that NLS functions substantially differently from LS in their achieved model confidence. To differentiate the two cases, we will call LS the positive label smoothing (PLS), and this paper unifies PLS and NLS into generalized label smoothing (GLS). We provide understandings for the properties of GLS when learning with noisy labels. Among other established properties, we theoretically show NLS is considered more beneficial when the label noise rates are high. We provide experimental results to support our findings too.

研究の動機と目的

• ラベルスムージング（LS）が高ラベルノイズ下で効果を失う理由を解明し、LSが普遍的にロバスト性を向上させるという仮定に疑問を呈する。
• 既存のノイズラベル学習手法の多くが、標準的なLSではなく、負例ラベルスムージング（NLS）を暗黙的に実装していることを見出す。
• 正例ラベルスムージング（PLS）とNLSを統一的に扱える一般化ラベルスムージング（GLS）フレームワークを形式的に構築し、理論的および実用的Understandingを深める。
• PLSとNLSの行動的差異、特にノイズラベル下でのモデルの信頼性と一般化性能の観点での違いを分析する。
• 理論的および実験的に、ラベルノイズ率が高い状況下でNLSがPLSよりも優れていることを確立する。

提案手法

• 正例ラベルスムージング（PLS）と負例ラベルスムージング（NLS）を統合する、スムージング係数が正（PLS）または負（NLS）である一般化ラベルスムージング（GLS）という統一フレームワークを提案。
• GLSの理論的性質を導出し、高ノイズ下でNLSがモデルの信頼性を高め、より強い正則化作用を発揮することを示す。
• スムージング係数がモデルのキャリブレーションおよび一般化性能に与える影響を分析し、特にノイズラベルが存在する状況での影響を検証。
• 制御されたラベルノイズを施したベンチマークデータセットを用いた実験的評価により、ノイズ率を変化させた状況下でPLS、NLS、標準LSの性能を比較。
• 既存手法がラベルの組み合わせ戦略を分析することで、それがNLSを暗黙的に実装しているかどうかを特定するメカニズムを導入。
• 高ノイズ下でのNLSのロバストネス向上を理論的に正当化し、信頼性の高いキャリブレーションと過学習の低減と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 標準ラベルスムージング（PLS）が低ノイズ設定では効果的であるのに対し、高ノイズ環境下ではなぜ効果を失うのか？
• RQ2 既存のノイズラベル学習手法は負例ラベルスムージング（NLS）とどのように関係しているのか？ また、なぜ高ノイズ下ではNLSがPLSよりも優れているのか？
• RQ3 正例ラベルスムージング（PLS）と負例ラベルスムージング（NLS）の間で、モデル挙動に理論的および実験的にどのような差異が生じるのか？
• RQ4 一般化ラベルスムージング（GLS）という統一フレームワークは、PLSとNLSを効果的に統合できるか？ また、それぞれのバリアントがどの条件下でより優れた性能を発揮するのか？
• RQ5 ラベルノイズ率が高い状況下で、NLSはPLSに比べてモデルの信頼性と一般化性能を向上させるのか？

主な発見

• 高ラベルノイズ下では、一般的な仮定とは対照的に、負例ラベルスムージング（NLS）が正例ラベルスムージング（PLS）よりも顕著に効果的であることが示された。
• 理論的分析により、NLSがモデルの信頼性を高め、高ノイズ下でより強い正則化作用を発揮することが明らかになった。
• 高ラベルノイズ下でのロバストネスを説明できる。
• 実験的結果により、ラベルノイズ率が50％を超える状況下で、NLSがPLSおよび標準LSを上回る精度と一般化性能を示した。
• 一般化ラベルスムージング（GLS）は、PLSとNLSを一つのフレームワークに統合し、異なるノイズレベルにおけるスムージング行動の体系的分析を可能にした。
• 本研究では、NLS下でのモデルの信頼性がPLS下よりも顕著に高いことが実証され、これがノイズのある状況下でのロバストネス向上と相関していることが示された。