[論文レビュー] Does label smoothing mitigate label noise?

Michał Łukasik, Srinadh Bhojanapalli+2 more|arXiv (Cornell University)|Mar 5, 2020

Machine Learning and Data Classification参考文献 39被引用数 19

ひとこと要約

本稿は、ラベルスムージングがディープラーニングにおけるラベルノイズを軽減するかどうかを調査し、対称的ノイズを注入するのと見かけ上同等であるにもかかわらず、ラベルスムージングが正則化として機能し、ラベルノイズ下でも一般化性能を向上させることを示している。ラベルスムージングは、既存の損失補正手法と同等の性能を示し、ノイズのある教師モデルに適用することで知識蒸留の性能を顕著に向上させることを示している。

ABSTRACT

Label smoothing is commonly used in training deep learning models, wherein one-hot training labels are mixed with uniform label vectors. Empirically, smoothing has been shown to improve both predictive performance and model calibration. In this paper, we study whether label smoothing is also effective as a means of coping with label noise. While label smoothing apparently amplifies this problem --- being equivalent to injecting symmetric noise to the labels --- we show how it relates to a general family of loss-correction techniques from the label noise literature. Building on this connection, we show that label smoothing is competitive with loss-correction under label noise. Further, we show that when distilling models from noisy data, label smoothing of the teacher is beneficial; this is in contrast to recent findings for noise-free problems, and sheds further light on settings where label smoothing is beneficial.

研究の動機と目的

• ラベルスムージングがモデルのキャリブレーションと一般化に用いられるが、ラベルノイズの軽減に有効であるかどうかを調査すること。
• ラベルスムージングとラベルノイズの損失補正手法の間の理論的関係を明確にすること。
• ラベルノイズを含む学習データにおいて、ラベルスムージングが知識蒸留に与える影響を評価すること。
• ラベルスムージングのノイズ注入効果と観察されるノイズ除去効果の間の明らかな矛盾を解明すること。

提案手法

• 著者たちは、ラベルノイズの文献に由来する損失補正手法、特にバックワード補正に基づくものとラベルスムージングを関連付けた。
• ラベルスムージングをL2正則化の一種として分析し、モデルの予測を一様分布に近づけることで過信を軽減することを示した。
• CIFAR-10およびCIFAR-100を用いた実験的評価を行い、ラベルスムージングを前方補正と標準学習と比較した。
• 教師モデルをノイズのあるラベルで学習させ、ラベルスムージングを適用した場合としない場合で知識蒸留を実施し、学生モデルの性能を評価した。
• 温度ベースの蒸留を用い、スムージングレベル（α）を変化させながら精度を測定し、ロバストネスを評価した。
• 理論的分析により、ラベルスムージングが正則化と関連することを示し、ロジットの収縮を通じてノイズ除去効果を説明した。

実験結果

リサーチクエスチョン

• RQ1 ラベルスムージングは、対称的ノイズを注入するのと見かけ上同等であるにもかかわらず、ラベルノイズを軽減するのか？
• RQ2 ラベルスムージングは、ラベルノイズの文献における既存の損失補正手法とどのように関係しているのか？
• RQ3 教師モデルがノイズのあるラベルで学習された場合、ラベルスムージングは知識蒸留の性能を向上させられるか？
• RQ4 ラベルスムージングが正則化効果を示すにもかかわらず、なぜラベルノイズ下で一般化性能が向上するのか？

主な発見

• ラベルスムージングは、CIFAR-10およびCIFAR-100におけるラベルノイズ下で誤差を低減する観点から、前方補正や他の損失補正手法と同等の性能を示した。
• ノイズのあるラベルで学習された教師モデルにラベルスムージングを適用することで、知識蒸留の性能が向上し、ヴァナイル蒸留を上回った。
• スムージングレベルαの異なる値に対しても、ラベルスムージングによる蒸留性能の向上効果は安定しており、αが大きいほど一貫した改善が得られた。
• ラベルスムージングは暗黙のL2正則化として機能し、モデルの過信を軽減し、予測を一様分布に収縮させることでノイズ除去効果を説明できる。
• ノイズなしの設定では教師モデルにラベルスムージングを適用すると蒸留性能が低下するという先行研究とは対照的に、本研究ではラベルノイズ下では有益であることが示された。
• 本研究は、ラベルスムージングが理論的・実験的根拠に基づき、有効なノイズ除去手法である可能性を確立した。