[논문 리뷰] On the Convergence of A Family of Robust Losses for Stochastic Gradient Descent

Bo Han, Ivor W. Tsang외 1명|arXiv (Cornell University)|2016. 05. 05.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 6

한 줄 요약

이 논문은 노이즈가 많은 레이블의 영향을 줄이기 위해 Stochastic Gradient Descent (SGD)를 위한 강건한 손실 함수의 가족—특히 스무스 램프 손실(Smooth Ramp Loss)과 반전 고프르츠 손실(Reversed Gompertz Loss)—을 제안한다. 임계값을 적용하고 스무스하며 국소적으로 강력한 볼록성을 가지는 손실을 도입함으로써, 이 방법은 수렴 속도 𝒪(1/T)를 보장하며, 높은 레이블 노이즈를 가진 여섯 개의 실세계 데이터셋에서 기준 방법들보다 뛰어난 강건성과 더 빠른 수렴을 달성한다.

ABSTRACT

The convergence of Stochastic Gradient Descent (SGD) using convex loss functions has been widely studied. However, vanilla SGD methods using convex losses cannot perform well with noisy labels, which adversely affect the update of the primal variable in SGD methods. Unfortunately, noisy labels are ubiquitous in real world applications such as crowdsourcing. To handle noisy labels, in this paper, we present a family of robust losses for SGD methods. By employing our robust losses, SGD methods successfully reduce negative effects caused by noisy labels on each update of the primal variable. We not only reveal that the convergence rate is O(1/T) for SGD methods using robust losses, but also provide the robustness analysis on two representative robust losses. Comprehensive experimental results on six real-world datasets show that SGD methods using robust losses are obviously more robust than other baseline methods in most situations with fast convergence.

연구 동기 및 목표

• 큰 규모의 머신러닝에서 노이즈 레이블이 기울기 업데이트를 왜곡시켜 SGD 성능을 떨어뜨리는 중요한 과제를 해결한다.
• 오차값 기반이자 스무스한 손실 함수의 가족을 개발하여, 잘못된 레이블의 이상치에 대한 원천 변수 업데이트 영향을 최소화한다.
• 높은 노이즈 비율 조건에서 빠른 수렴과 강건성의 이론적 및 실증적 검증을 수행하며, 특히 표준 볼록 손실이 실패하는 상황에서도 유의미하다.
• 콜라보레이션 및 암시적 피드백 시스템 등 레이블 노이즈가 널리 퍼져 있는 실세계 응용 분야에서 SGD의 일반화 능력과 학습 안정성을 향상시킨다.

제안 방법

• 오차값 기반 메커니즘(예: 램프 손실)을 갖춘 강건한 손실 함수의 가족을 도입하여, 잘못된 레이블 인스턴스의 기울기 기여를 제한함으로써 이상치로 간주한다.
• 비스무스 램프 손실(SRamp)과 반전 고프르츠 손실(RGomp)을 제안하여, 비스무스 램프 손실의 스무스하고 국소적으로 강력한 볼록한 근사치를 제공함으로써 효율적인 SGD 최적화를 가능하게 한다.
• 이러한 강건한 손실을 사용한 SGD의 수렴 속도를 𝒪(1/T)로 수식화하여, 노이즈 조건 하에서 이론적 안정성을 입증한다.
• 대규모 데이터셋에 새로운 손실 함수를 적용하여, 메모리 및 계산 비용을 줄이기 위해 미니배치 업데이트를 사용하면서도 강건성을 유지한다.
• 오차값 기반의 매개변수화된 임계값(예: $s^*$)을 사용하여 이상치 억제와 모델 정확도 사이의 균형을 제어한다.
• PEGASOS, 로지스틱/허프/램프 손실을 사용한 SGD, ASGD와의 비교를 통해 여섯 개의 실세계 데이터셋에서 다양한 노이즈 수준에서 광범위한 실험을 수행하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 레이블 조건에서, 오차값 기반의 강건한 손실 함수의 가족이 SGD의 수렴성과 강건성을 향상시킬 수 있는가?
• RQ2 스무스하고 강건한 손실 함수인 SRamp와 RGomp를 사용할 경우, SGD의 이론적 수렴 속도는 무엇인가?
• RQ3 SRamp와 RGomp는 로지스틱, 허프, 램프와 같은 표준 볼록 손실과 비교해 레이블 노이즈 조건에서 일반화 능력과 분산 측면에서 어떻게 성능을 내는가?
• RQ4 제안된 방법은 청소된 데이터셋에서도 뛰어난 성능을 유지하면서 고노이즈 조건에서 뛰어난 성능을 발휘하는가?
• RQ5 비볼록 강건한 손실의 스무스하고 국소적으로 강력한 볼록한 근사치는 효율적이고 안정적인 SGD 최적화를 가능하게 하는가?

주요 결과

• 스무스 램프 손실(SGD(SRamp))과 반전 고프르츠 손실(SGD(RGomp))을 사용한 SGD는 수렴 속도 𝒪(1/T)를 달성하며, 표준 SGD와 동일한 수렴 속도를 보이지만 더 뛰어난 강건성을 확보한다.
• 60%의 노이즈 레이블을 가진 IJCNN1 데이터셋에서, SGD(SRamp)과 SGD(RGomp)는 각각 6.49% ± 0.12와 6.45% ± 0.02의 테스트 오차를 기록하여, SGD(Log)의 9.08% ± 0.48보다 뛰어나다.
• 고차원적 REAL-SIM 데이터셋에서는, 모든 노이즈 수준(0%에서 40%)에서 SGD(SRamp)과 SGD(RGomp)가 가장 낮은 테스트 오차와 분산을 유지하며, 40% 노이즈 조건에서도 오차율이 2.5% 이하로 유지된다.
• SGD(SRamp)와 SGD(RGomp)의 테스트 오차 분산은 노이즈 수준에 관계없이 일관되게 낮게 유지되며, PEGASOS와 같은 기준 방법은 노이즈 비율 증가에 따라 분산이 증가하는 경향을 보인다.
• 청소된 데이터셋(예: IJCNN1, COVTYPE, SUSY)에서도 SGD(SRamp)와 SGD(RGomp)는 ASGD와 PEGASOS를 포함한 모든 기준 방법보다 낮은 테스트 오차를 기록하여, 노이즈 조건 외의 환경에서도 일반화 이점을 보여준다.
• SGD(Ramp)는 비스무스성과 비볼록성으로 인해 성능이 열악하여, 안정적인 SGD 수렴을 위해 스무스 근사치가 반드시 필요함을 확인한다.