[論文レビュー] When Optimizing $f$-divergence is Robust with Label Noise

Jiaheng Wei, Yang Liu|arXiv (Cornell University)|Nov 7, 2020

Machine Learning and Data Classification参考文献 35被引用数 6

ひとこと要約

本稿では、特定のf-発散測度（特に全変動、ジェンセン・シャノン、ピアソンχ²）の最適化が、クリーン成分とノイズ成分を分離する変分分解特性のおかげで、ラベルノイズに対して依然として頑健であることを示している。著者らは、ノイズ率推定を必要とせずにf-発散が本質的に頑健である条件を導出し、頑健性が失敗する場合には補正手法を提案した。その有効性は、MNIST、CIFAR-10、CIFAR-100、Clothing1Mにおける広範な実験で検証された。

ABSTRACT

We show when maximizing a properly defined $f$-divergence measure with respect to a classifier's predictions and the supervised labels is robust with label noise. Leveraging its variational form, we derive a nice decoupling property for a family of $f$-divergence measures when label noise presents, where the divergence is shown to be a linear combination of the variational difference defined on the clean distribution and a bias term introduced due to the noise. The above derivation helps us analyze the robustness of different $f$-divergence functions. With established robustness, this family of $f$-divergence functions arises as useful metrics for the problem of learning with noisy labels, which do not require the specification of the labels' noise rate. When they are possibly not robust, we propose fixes to make them so. In addition to the analytical results, we present thorough experimental evidence. Our code is available at https://github.com/UCSC-REAL/Robust-f-divergence-measures.

研究の動機と目的

• ラベルノイズがある状況でも最適化時に頑健なままであるf-発散測度を同定すること。
• f-発散最適化におけるクリーン成分とノイズ成分を分離する変分フレームワークを構築すること。
• 事前知識としてのノイズ率を必要としない、頑健な損失関数の族を提供すること。
• ノイズ率推定を用いて非頑健なf-発散を補正し、学習の頑健性を向上させること。
• 提案手法の頑健性と有効性を、複数のデータセットおよびノイズ設定において実証的に検証すること。

提案手法

• f-発散の変分表現を導出し、クリーンな変分差とノイズ由来のバイアス項に線形分解されることを明らかにした。
• 特に全変動とジェンセン・シャノン発散に対して、f-発散がラベルノイズに対して不変である条件を確立した。
• ノイズ遷移行列を推定し、発散関数をそれに応じて調整することで、非頑健なf-発散の補正手法を提案した。
• 変分分解を用いて、f-発散の最大化が予測と真のラベル間の拡張f相互情報量の最大化を促進することを示した。
• 多様なノイズ行列を用いて、MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100、Clothing1Mにおける提案f-発散測度の実装と評価を実施した。
• 学習率スケジューリングを伴う、クロスエントロピーを用いたウォームアップ学習を含む、データセット間で一貫した訓練プロトコルを採用した。

実験結果

リサーチクエスチョン

• RQ1 ノイズ率推定を必要とせずに、ラベルノイズに対して本質的に頑健なf-発散測度は何か？
• RQ2 ラベルノイズ下でのf-発散の変分形はどのように分解されるのか？ これにより頑健性について何が明らかになるか？
• RQ3 どのような条件下で、f-発散最適化がラベルノイズの影響を受けてもベイズ最適分類器を保持するのか？
• RQ4 非頑健なf-発散はノイズ率推定を用いて補正可能か？ その補正はどの程度有効か？
• RQ5 さまざまなラベルノイズ設定下で、f-発散に基づく学習手法は、最先端のベースラインと比較してどの程度の精度を達成するか？

主な発見

• 理論的分析と実験的結果の両面から、全変動発散はすべてのテスト条件下でラベルノイズに対して頑健であることが確認された。
• ジェンセン・シャノン発散とピアソンχ²発散は、特定の条件下で頑健であり、特にノイズ遷移行列が特定の対称性またはスパarsity制約を満たす場合に顕著である。
• 変分形は、ノイズありf-発散がクリーンな変分差のアフィン変換に加え、バイアス項が加わった形に分解されることを明らかにした。これにより、頑健性の理論的分析が可能になった。
• 非頑健なf-発散に対しては、ノイズ率推定を用いた提案補正法が、特に非対称ラベルノイズ下で一般化性能を顕著に向上させた。
• MNIST、CIFAR-10、CIFAR-100、Clothing1Mにおける実験結果から、ノイズ率推定を必要としないf-発散最適化が、最先端のベースラインと同等またはそれを上回る性能を達成した。
• 0.5および0.7のランダムフリッピングといった多様なノイズレベルにおいて、提案手法が一貫した頑健性を示した。