[論文レビュー] On the Convergence of A Family of Robust Losses for Stochastic Gradient Descent

Bo Han, Ivor W. Tsang+1 more|arXiv (Cornell University)|May 5, 2016

Sparse and Compressive Sensing Techniques参考文献 21被引用数 6

ひとこと要約

本稿では、ノイズの多いラベルの影響を軽減するため、確率的勾配降下法（SGD）に適したロバスト損失関数の族——特にスムーズラム損失（Smooth Ramp Loss）および逆Gompertz損失（Reversed Gompertz Loss）——を提案する。閾値付きで滑らかで、局所的に強い凸性を持つ損失を導入することで、収束レート 𝒪(1/T) を保証し、6つの実世界のデータセット（高ラベルノイズを含む）において、ベースライン手法に比べて優れたロバスト性と高速な収束を達成する。

ABSTRACT

The convergence of Stochastic Gradient Descent (SGD) using convex loss functions has been widely studied. However, vanilla SGD methods using convex losses cannot perform well with noisy labels, which adversely affect the update of the primal variable in SGD methods. Unfortunately, noisy labels are ubiquitous in real world applications such as crowdsourcing. To handle noisy labels, in this paper, we present a family of robust losses for SGD methods. By employing our robust losses, SGD methods successfully reduce negative effects caused by noisy labels on each update of the primal variable. We not only reveal that the convergence rate is O(1/T) for SGD methods using robust losses, but also provide the robustness analysis on two representative robust losses. Comprehensive experimental results on six real-world datasets show that SGD methods using robust losses are obviously more robust than other baseline methods in most situations with fast convergence.

研究の動機と目的

• 大規模な機械学習におけるラベルノイズという深刻な課題に取り組み、ノイズラベルが勾配更新を歪めるため、SGDの性能が低下することを防ぐ。
• 誤標記された外れ値の影響を最小限に抑えるために、閾値ベースで滑らかな損失関数の族を開発する。
• 高ノイズ率下での高速収束とロバスト性の理論的・実験的妥当性を検証し、特に標準的な凸損失が失敗する状況でも有効であることを示す。
• クラウドソーシングや暗黙のフィードバックシステムなど、ラベルノイズが広範に存在する実世界の応用において、SGDの汎化性能と訓練の安定性を向上させる。

提案手法

• 誤標記されたインスタンスの勾配寄与を制限するための閾値機構（例：ラムプ損失）を備えたロバスト損失の族を導入し、それらを外れ値として扱う。
• 非滑らかなラムプ損失の滑らかで、局所的に強い凸性を持つ近似として、スムーズラム損失（SRamp）および逆Gompertz損失（RGomp）を提案し、効率的なSGD最適化を可能にする。
• これらのロバスト損失を用いたSGDの収束レートを 𝒪(1/T) として形式化し、ノイズ環境下での理論的安定性を証明する。
• 大規模データセットに新しい損失関数を適用し、ミニバッチ更新を用いてメモリと計算コストを削減しながらも、ロバスト性を維持する。
• 外れ値の抑制とモデル精度のトレードオフを制御するパラメータ化された閾値（例：$s^*$）を導入する。
• PEGASOS、ロジスティック／ハイブリッジ／ラムプ損失を用いたSGD、およびASGDと比較して、6つの実世界のデータセットで広範な実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 閾値付きのロバスト損失関数の族は、高ラベルノイズ下でのSGDの収束性とロバスト性を向上させることができるか？
• RQ2 スムーズでロバストな損失（例：SRamp や RGomp）を用いたSGDの理論的収束レートは何か？
• RQ3 SRamp および RGomp は、ロジスティック・ハイブリッジ・ラムプ損失といった標準的な凸損失と比較して、ノイズラベル下での汎化性能と分散にどのような差を示すか？
• RQ4 提案手法はクリーンなデータセットでも優れた性能を維持することができるか？ また、高ノイズ条件下での優位性は保たれるか？
• RQ5 非凸ロバスト損失の滑らかで局所的に強い凸性を持つ近似は、効率的かつ安定的なSGD最適化を可能にするか？

主な発見

• スムーズラム損失を用いたSGD（SGD(SRamp)）および逆Gompertz損失を用いたSGD（SGD(RGomp)）は、収束レート 𝒪(1/T) を達成し、標準的なSGDと同等の速度で、より優れたロバスト性を示す。
• 60%のノイズラベルを含むIJCNN1データセットでは、SGD(SRamp)とSGD(RGomp)のテスト誤差はそれぞれ6.49% ± 0.12および6.45% ± 0.02にまで低下し、SGD(Log)の9.08% ± 0.48を下回る。
• 高次元のREAL-SIMデータセットでは、0%〜40%のあらゆるノイズレベルで、SGD(SRamp)とSGD(RGomp)が最小のテスト誤差と分散を維持し、40%のノイズ下でも誤差率が2.5%未満に保たれる。
• SGD(SRamp)およびSGD(RGomp)のテスト誤差の分散は、ノイズレベルにかかわらず一貫して低く保たれるが、PEGASOSなどのベースライン手法はノイズが増加するにつれて分散が増加する。
• クリーンなデータセット（例：IJCNN1、COVTYPE、SUSY）においても、SGD(SRamp)およびSGD(RGomp)はASGD や PEGASOS を含むすべてのベースラインを上回る低いテスト誤差を達成し、ノイズのない状況下でも汎化性能の向上を示す。
• SGD(Ramp)は非滑らかさと非凸性のため性能が著しく劣り、安定なSGD収束のためには滑らかで近似が必要であることが確認された。