[論文レビュー] An Investigation of how Label Smoothing Affects Generalization

Blair Chen, Liu Ziyin+2 more|arXiv (Cornell University)|Oct 23, 2020

Machine Learning and Data Classification参考文献 27被引用数 8

ひとこと要約

本稿では、ラベルノイズが存在する状況において、ラベルスムージングが正則化として機能することで一般化誤差が低減する理論的枠組みを提案する。テスト誤差を最小化する最適なラベルスムージングハイパーパrameter $ p^* $ の閉形式表現を導出し、MNIST や CIFAR10 などの複数のデータセットおよびモデルでその予測を実証的に検証する。

ABSTRACT

It has been hypothesized that label smoothing can reduce overfitting and improve generalization, and current empirical evidence seems to corroborate these effects. However, there is a lack of mathematical understanding of when and why such empirical improvements occur. In this paper, as a step towards understanding why label smoothing is effective, we propose a theoretical framework to show how label smoothing provides in controlling the generalization loss. In particular, we show that this benefit can be precisely formulated and identified in the label noise setting, where the training is partially mislabeled. Our theory also predicts the existence of an optimal label smoothing point, a single value for the label smoothing hyperparameter that minimizes generalization loss. Extensive experiments are done to confirm the predictions of our theory. We believe that our findings will help both theoreticians and practitioners understand label smoothing, and better apply them to real-world datasets.

研究の動機と目的

• 深層学習におけるラベルスムージングが一般化を改善する理由についての理論的理解の不足に対処すること。
• ラベルスムージングをモデル表現力と一般化誤差のトレードオフを制御する正則化手法として形式化すること。
• ラベルノイズ下での最適なラベルスムージングハイパーパrameter $ p^* $ の明確な数学的予測を導出すること。
• MNIST や CIFAR10 などの実世界のデータセットを用いた広範な実験を通じて理論的予測の妥当性を検証すること。
• ラベルスムージング下でテスト誤差を最小化するパラメータとテスト正解率を最大化するパラメータの間に生じる乖離を特定し、モデル評価における未解決問題を浮き彫りにすること。

提案手法

• ラベルスムージングプロセスを、対角成分が $ p $、非対角成分が $ \frac{1-p}{M-1} $ であるスムージング行列 $ S_p $ を用いた one-hot ターゲットの変換としてモデル化する。これは一様ラベルスムージングを表す。
• クリーン率 $ a $ を用いて、真のクラス分布をクリーンラベルと汚染ラベルの混合としてモデル化し、ラベルノイズ下での一般化誤差を分析する。
• $ \alpha $-型および $ \beta $-型ノイズモデル下での期待テスト誤差 $ \ell(a,p) $ の理論的表現を導出し、これが $ p $ に関して凸関数であることを示す。
• $ \beta $-型ノイズモデルを用いて、期待一般化誤差を最小化する最適スムージングパラメータ $ p^* $ の閉形式解を導出する。
• 理論的予測を、MNIST や CIFAR10 などの複数のモデル、ランダムシード、データセットで測定したテスト誤差と照合することで、理論と実験の強い一致を確認する。
• Jensenの不等式を用いて、ラベルスムージングとフォワード行列の定式化を拡張し、新たな手法であるロジットスムージングの可能性を検討する。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズが存在する状況でラベルスムージングが一般化誤差をどのように低減するのか。これは数学的に形式化可能か？
• RQ2 一般化誤差を最小化する最適なラベルスムージングハイパーパrameter $ p $ の値は何か。また、これは閉形式で導出可能か？
• RQ3 理論的予測による最適 $ p^* $ は、多様なデータセットやアーキテクチャにおいて、実測テスト誤差と整合性を示すか？
• RQ4 なぜテスト誤差を最小化する最適な $ p $ とテスト正解率を最大化する最適な $ p $ の間に乖離が生じるのか。これはモデル評価にどのような意味を持つのか？
• RQ5 この理論的枠組みは非一様スムージングやロジットスムージングなどの新規バリエーションに拡張可能か？

主な発見

• 理論的枠組みは、ラベルスムージングが特にラベルノイズ下で一般化誤差を制御する正則化として機能することを予測し、最適スムージングパラメータ $ p^* $ の閉形式表現を提供する。
• MNIST および CIFAR10 における広範な実験により、予測されたテスト誤差と測定されたテスト誤差が、クリーン率 $ a $ の異なる条件下でも強く一致しており、理論モデルの妥当性が裏付けられる。
• 最適スムージングパラメータ $ p^* $ はクリーン率 $ a $ と正の相関関係にあり、ラベル品質が高いほどスムージングの必要性が低減することを示唆する。
• テスト誤差において理論と実験が強く一致する一方で、テスト誤差を最小化する最適な $ p $ とテスト正解率を最大化する最適な $ p $ の間に顕著な乖離が存在し、ラベルスムージング下では誤差と正解率が常に一致しない可能性を示唆する。
• この枠組みは、Jensenの不等式を応用して導出されたロジットスムージングという新たなスムージング方向を示唆しており、性能向上の可能性を秘めており、さらなる調査が求められる。