[논문 리뷰] Optimistic Rates for Learning with a Smooth Loss

Nathan Srebro, Karthik Sridharan외 1명|arXiv (Cornell University)|2010. 09. 20.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 45

한 줄 요약

이 논문은 부드러운 손실 함수를 갖는 경험적 위험 최소화에 대해 개선된 일반화 경계를 수립하며, 고전적인 $1/\sqrt{n}$ 경계보다 향상된 $\widetilde{O}(HR/n + \sqrt{L^*HR/n})$의 낙관적 비율을 제안한다. 특히 분리 가능한 경우($L^*=0$)에 유의미하게 향상된다. 분석은 이阶 미분의 부드러움과 라데마처 복잡도를 활용하며, 부드러운 목표 함수를 갖는 온라인 및 스토하스틱 볼록 최적화로 확장된다.

ABSTRACT

We establish an excess risk bound of O(H R_n^2 + R_n \sqrt{H L*}) for empirical risk minimization with an H-smooth loss function and a hypothesis class with Rademacher complexity R_n, where L* is the best risk achievable by the hypothesis class. For typical hypothesis classes where R_n = \sqrt{R/n}, this translates to a learning rate of O(RH/n) in the separable (L*=0) case and O(RH/n + \sqrt{L^* RH/n}) more generally. We also provide similar guarantees for online and stochastic convex optimization with a smooth non-negative objective.

연구 동기 및 목표

• 일阶 리프시츠 연속성에 의존하는 고전적 초과 위험 경계의 한계를 다루며, 제곱 손실과 같은 부드러운 손실에 대해 빠른 수렴 비율을 포착하지 못함을 시사한다.
• 손실 함수가 $H$-부드럽다(즉, 이阶 도함수가 유계임)는 조건 하에, 라데마처 복잡도가 유계인 가설 클래스에 대해 더 날카운 일반화 보장을 제공한다.
• 부드러움을 활용하여 분리 가능한 경우($L^*=0$)에 개선된 학습 비율을 달성하며, 표준 $\widetilde{O}(\sqrt{HR/n})$ 대신 $\widetilde{O}(HR/n)$을 달성한다.
• 부드럽고 음이 아닌 目적 함수를 갖는 온라인 및 스토하스틱 볼록 최적화 설정으로 분석을 확장하며, 유사한 낙관적 비율을 제공한다.
• 낙관적 비율과 빠른 비율을 구분하며, 최적 위험 $L^*$에 따라 $1/n$ 에서 $1/\sqrt{n}$ 으로 부드럽게 떨어지는 경향을 보여준다.

제안 방법

• 손실 함수가 $H$-부드럽다는 조건 하에, $\mathcal{R}_n$이 가설 클래스의 라데마처 복잡도일 때, 초과 위험 경계를 $\widetilde{O}(H\mathcal{R}_n^2 + \sqrt{HL^*}\mathcal{R}_n)$ 로 유도한다.
• 손실 함수의 이阶 테일러 전개를 사용하여 초과 위험을 유계 헤시안(이阶 도함수)에 기반해 경계를 설정하며, 일阶 도함수 대신 이를 활용한다.
• 일반적인 클래스에 대해 $\mathcal{R}_n = \sqrt{R/n}$ 이라고 가정하면, 비율은 $\widetilde{O}(RH/n + \sqrt{L^*RH/n})$ 으로 유도된다.
• 스피어드 미러 내림법과 엔트로피 정규화를 사용하여 온라인 및 스토하스틱 볼록 최적화로 결과를 확장하며, 로그 인자 없이 유사한 경계를 달성한다.
• 최종 경계에서 로그 인자를 피하기 위해 $\ell_1$-노름 제약 공간에 1-강하게 볼록한 엔트로피 정규화를 사용한다.
• 최악의 경우 라데마처 복잡도가 부드러운 경우, 예측 또는 경험적 라데마처 복잡도로 대체될 수 없음을 보여주며, 이는 리프시츠 경우와의 주요 차이점을 드러낸다.

실험 결과

연구 질문

• RQ1 고전적인 $1/\sqrt{n}$ 비율을 초월하여, 특히 분리 가능한 경우에 부드러운 손실 함수의 일반화 경계를 향상시킬 수 있는가?
• RQ2 손실 함수의 이阶 부드러움($H$-부드러움)이 경험적 위험 최소화에서 초과 위험에 어떤 영향을 미치는가?
• RQ3 분리 가능한 경우에 $\widetilde{O}(HR/n)$ 의 낙관적 비율을 달성할 수 있는가? 부드럽고 음이 아닌 손실 함수에 대해.
• RQ4 이러한 경계를 부드러운 목표 함수를 갖는 온라인 및 스토하스틱 볼록 최적화 설정으로 확장할 수 있는가?
• RQ5 왜 최악의 경우 라데마처 복잡도 경계는 부드러운 경우에 예측 또는 경험적 라데마처 복잡도로 대체될 수 없으며, 이는 리프시츠 경우와의 주요 차이점인가?

주요 결과

• 논문은 $H$-부드러운 손실에 대해 $\widetilde{O}(H\mathcal{R}_n^2 + \sqrt{HL^*}\mathcal{R}_n)$ 의 초과 위험 경계를 수립하며, 일阶 리프시츠 연속성에 의존하는 고전적 경계보다 향상됨을 보여준다.
• 가설 클래스에서 $\mathcal{R}_n = \sqrt{R/n}$ 이라면, 경계는 $\widetilde{O}(RH/n + \sqrt{L^*RH/n})$ 로 변환되며, 분리 가능한 경우($L^*=0$)에 $1/n$ 비율을 달성한다.
• 이 경계는 제곱 손실과 같은 부드러운 손실에 대해 날카롭게 작용하며, 첫 번째 도함수를 유계로 둘 때 발생하는 열악한 $O(B^4\|X\|_2^4/n)$ 비율을 피한다.
• 결과는 온라인 및 스토하스틱 볼록 최적화로 확장되며, 엔트로피 정규화를 사용한 스토하스틱 미러 내림법이 동일한 낙관적 비율을 달성한다.
• 엔트로피 정규화를 사용함으로써 로그 인자가 없는 깔끔한 $O$-표기법 경계를 달성하며, 이는 이전의 $\widetilde{O}$-스타일 경계보다 향상됨을 보여준다.
• 논문은 최악의 경우 라데마처 복잡도가 부드러운 경우에 예측 또는 경험적 라데마처 복잡도로 대체될 수 없음을 보이며, 일반화 이론에서의 주요 차이점을 부각한다.