[논문 리뷰] Smoothness, Low Noise and Fast Rates

Nathan Srebro, Karthik Sridharan외 1명|arXiv (Cornell University)|2010. 09. 20.

Machine Learning and Algorithms참고 문헌 32인용 수 53

한 줄 요약

이 논문은 H-스무쓰한 손실 함수와 라데마처 복잡도 Rn을 갖는 가설 클래스를 가진 경험적 위험 최소화(Empirical Risk Minimization, ERM)에 대해 향상된 초과 위험 경계를 수립한다. 선형 분리 가능한 경우 빠른 학습 속도 Õ(RH/n)과 일반적으로 Õ(√L∗RH/n + RH/n)을 도출하며, 스무쓰하고 음이 아닌 目적 함수에 대한 온라인 및 스토하스틱 볼록 최적화에도 유사한 보장을 제공한다.

ABSTRACT

We establish an excess risk bound of Õ HR 2 n + √ HL∗Rn for ERM with an H-smooth loss function and a hypothesis class with Rademacher complexity Rn, where L ∗ is the best risk achievable by the hypothesis class. For typical hypothesis classes where Rn = √ R/n, this translates to a learning rate of Õ (RH/n) in the separable (L ∗ = 0) case and Õ RH/n + √ L ∗) RH/n more generally. We also provide similar guarantees for online and stochastic convex optimization of a smooth non-negative objective. 1

연구 동기 및 목표

• 손실 함수가 H-스무쓰하고 가설 클래스의 라데마처 복잡도가 유계일 때 경험적 위험 최소화(ERM)에 대해 더 날카로운 초과 위험 경계를 유도하기 위해.
• 학습 속도가 스무쓰함 파라미터 H, 최적의 위험 L∗, 가설 클래스의 복잡도 Rn에 어떻게 의존하는지 기술하기 위해.
• ERM를 초과하여 스무쓰하고 음이 아닌 목표 함수에 대한 온라인 및 스토하스틱 볼록 최적화 설정으로 분석을 확장하기 위해.
• 특히 L∗이 작거나 0일 때 낮은 노이즈 조건 하에서 빠른 수렴 속도를 확립하기 위해.
• 스무쓰함과 복잡도가 일반화 성능에 공동으로 영향을 주는 방식을 이해하기 위한 통합 프레임워크를 제공하기 위해.

제안 방법

• 가설 클래스의 복잡도를 측정하기 위해 라데마처 복잡도를 사용하여 H-스무쓰한 손실 함수를 갖는 ERM를 분석한다.
• Rn은 라데마처 복잡도이고 L∗은 최적의 위험일 때, 초과 위험 경계를 Õ(HR²/n + √(HL∗R)/n)로 도출한다.
• 경험적 위험과 진짜 위험 간의 편차를 제어하기 위해 농도 및 스무쓰함의 추론을 적용한다.
• 목표 함수의 스무쓰함과 음이 아니라는 조건을 활용하여 분석을 온라인 및 스토하스틱 볼록 최적화에 적응시킨다.
• 대칭화 및 체이닝과 같은 통계적 학습 이론의 표준 도구를 사용하여 복잡도 항 Rn을 경계한다.
• 일반 경계에 일반적인 Rn = √R/n를 대입하여 학습 속도를 도출하며, 이는 선형 분리 가능한 경우 Õ(RH/n)과 일반적인 경우 Õ(√L∗RH/n + RH/n)을 얻는다.

실험 결과

연구 질문

• RQ1 H-스무쓰한 손실 함수와 라데마처 복잡도 Rn을 갖는 가설 클래스를 가진 ERM에 대해 최적의 초과 위험 경계는 무엇인가?
• RQ2 스무쓰함과 낮은 노이즈(작은 L∗)가 ERM에서 학습 속도에 공동으로 어떻게 영향을 주는가?
• RQ3 스무쓰하고 음이 아닌 목표 함수에 대해 온라인 및 스토하스틱 볼록 최적화에서도 유사한 빠른 속도를 확립할 수 있는가?
• RQ4 학습 속도가 스무쓰함 파라미터 H, 복잡도 Rn, 최적의 위험 L∗에 어떻게 의존하는가?
• RQ5 일반적인 가정, 예를 들어 Rn = √R/n일 때 일반 초과 위험 경계는 어떻게 단순화되는가?

주요 결과

• 이 논문은 H-스무쓰한 손실과 라데마처 복잡도 Rn을 갖는 가설 클래스를 가진 ERM에 대해 Õ(HR²/n + √(HL∗R)/n)의 초과 위험 경계를 수립한다.
• 선형 분리 가능한 경우(L∗ = 0)에 학습 속도는 Õ(RH/n)로 단순화되며, 이는 스무쓰함과 낮은 복잡도 조건 하에서 빠른 속도이다.
• 일반적인 경우 L∗ > 0일 때 경계는 Õ(√L∗RH/n + RH/n)로 변형되며, L∗이 작을수록 향상된 속도를 보여준다.
• 분석은 스무쓰하고 음이 아닌 목표 함수에 대해 온라인 및 스토하스틱 볼록 최적화로 확장되어 유사한 빠른 속도를 제공한다.
• Rn = √R/n와 같은 표준 가정 하에서 유도된 경계는 날카롭고, 스무쓰함, 노이즈, 복잡도 간의 상호작용을 반영한다.
• 결과적으로 스무쓰함과 낮은 노이즈가 함께 작용할 경우, 강한 볼록성 없이도 표준 속도보다 더 빠른 수렴이 가능하다는 점을 보여준다.