[論文レビュー] To Smooth or Not? When Label Smoothing Meets Noisy Labels

Jiaheng Wei, Hangyu Liu+4 more|arXiv (Cornell University)|Jun 8, 2021

Machine Learning and Data Classification被引用数 16

ひとこと要約

本稿は、ノイズのあるラベルが存在する状況におけるラベルスムージング（LS）とネガティブラベルスムージング（NLS）を調査し、低ノイズではLSが一般化性能を向上させるが、高ノイズではモデルの信頼度が向上するためNLSがより有効であることを示している。主な貢献は、最適スムージングレートにおける段階的転移の理論的・実験的証明であり、ノイズ率が閾値を超えるとNLSがLSを上回ることを明らかにしている。

ABSTRACT

Label smoothing (LS) is an arising learning paradigm that uses the positively weighted average of both the hard training labels and uniformly distributed soft labels. It was shown that LS serves as a regularizer for training data with hard labels and therefore improves the generalization of the model. Later it was reported LS even helps with improving robustness when learning with noisy labels. However, we observed that the advantage of LS vanishes when we operate in a high label noise regime. Intuitively speaking, this is due to the increased entropy of $\mathbb{P}( ext{noisy label}|X)$ when the noise rate is high, in which case, further applying LS tends to "over-smooth" the estimated posterior. We proceeded to discover that several learning-with-noisy-labels solutions in the literature instead relate more closely to negative/not label smoothing (NLS), which acts counter to LS and defines as using a negative weight to combine the hard and soft labels! We provide understandings for the properties of LS and NLS when learning with noisy labels. Among other established properties, we theoretically show NLS is considered more beneficial when the label noise rates are high. We provide extensive experimental results on multiple benchmarks to support our findings too. Code is publicly available at https://github.com/UCSC-REAL/negative-label-smoothing.

研究の動機と目的

• ノイズのあるラベルで学習する際のラベルスムージング（LS）とネガティブラベルスムージング（NLS）のトレードオフを理解すること。
• ラベルノイズ率が高い状況でLSが効果を失う理由を調査すること、特に事後確率の過剰スムージングが原因である可能性を検討すること。
• 高ノイズ下でNLSがモデルの信頼度と一般化性能を向上させることを理論的および実験的に示すこと。
• 特定のノイズモデル下で、NLSが既存のロバスト学習手法（Loss Correction、NLNL、Peer Loss）とどのように関連するかを明らかにすること。
• 推定されたノイズレベルに基づいて最適スムージングレートを選択するための原則的フレームワークを提供すること。

提案手法

• 負のスムージングレートを許容する一般化ラベルスムージング（GLS）の定式化を提案し、$\mathbf{y}^{\text{GLS},r} = (1-r)\cdot\mathbf{y} + \frac{r}{K}\cdot\mathbf{1}$ と定義する。ここで $r \in (-\infty, 1]$ である。
• ノイズのあるラベル下での期待リスクを理論的に分析し、GLSが負の $r$ をとる場合に真のリスクを最小化する条件を導出する。
• ラベルノイズ率 $e$ に応じて最適スムージングレート $r_{\text{opt}}$ に段階的転移が生じることを同定し、低ノイズでは $r_{\text{opt}} > 0$、高ノイズでは $r_{\text{opt}} < 0$ となることを示す。
• NLSが正しい予測におけるモデルの信頼度を向上させ、誤った予測では低下させることを示し、ノイズ下でのロバストネスを向上させることを実証する。
• Loss Correction、NLNL、Peer Lossといった既存のロバスト学習手法とNLSを関連付け、特定のノイズモデル下でそれらがNLSの特定の定式化に相当することを示す。
• 複数のベンチマークで実験的に妥当性を検証し、ノイズ率が上昇するに従い、最適スムージングレートが正から負に移行する明確な遷移を示している。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズ率が低い場合を除き、ラベルスムージングがノイズのあるラベルで学習する際に性能向上をもたらさない条件は何か？
• RQ2 なぜ高ノイズ状況下でネガティブラベルスムージング（NLS）が標準ラベルスムージング（LS）を上回るのか？
• RQ3 ラベルノイズ率の関数として、最適スムージングレートに理論的段階的転移が存在するか？
• RQ4 NLSとLSは、モデルの信頼度と一般化誤差にどのように異なる影響を与えるか？
• RQ5 Loss Correction や Peer Loss といった既存のロバスト学習手法は、特定のノイズモデル下でネガティブラベルスムージングの例として解釈可能か？

主な発見

• ラベルノイズ率が低い場合、正の $r$ を持つラベルスムージング（LS）はNLSよりも優れた性能を示す。これは正則化としての役割を果たすからである。
• 高ノイズ状況下では、$r < 0$ のネガティブラベルスムージング（NLS）がより有効になる。これは事後分布の過剰スムージングを防ぐからである。
• 最適スムージングレート $r_{\text{opt}}$ は、ラベルノイズ率が上昇するに従い、正から負への段階的転移を示す。臨界ノイズレベルでは $r_{\text{opt}} = 0$ となる。
• NLSは正しい予測におけるモデルの信頼度を向上させ、誤った予測では低下させることで、ノイズ下でのロバストネスと一般化性能を向上させる。
• Loss Correction、NLNL、Peer Loss は、特定のノイズ率モデル下でNLSと同等であることが示され、理論的フレームワークの妥当性が裏付けられた。
• CIFAR-10およびUCIデータセットにおける実験結果から、ノイズ率が上昇するに従い、最適スムージングレートが正から負に移行することが確認され、高ノイズ下ではNLSがより高いテスト精度を達成した。