[논문 리뷰] Stability and Deviation Optimal Risk Bounds with Convergence Rate $O(1/n)$

Yegor Klochkov, Nikita Zhivotovskiy|arXiv (Cornell University)|2021. 03. 22.

Risk and Portfolio Optimization인용 수 4

한 줄 요약

이 논문은 스토하스틱 볼록 최적화 분야에서 오랫동안 남아있던 열린 문제를 해결하며, 베르누이 조건 하에서 균일 안정 학습 알고리즘에 대해 확률적으로 높은 초과 위험 한계를 $O(\log n / n)$의 순서로 설정한다. 균일 안정성과 베르누이 조건을 활용하여, 이전에 존재하던 $O(1/\sqrt{n})$의 표본 오차 항을 제거함으로써, 매개변수 최적화 및 투영된 경사하강법에 대해 부드러움 조건 없이도 최적의 $O(1/n)$ 수렴 속도를 달성할 수 있다.

ABSTRACT

The sharpest known high probability generalization bounds for uniformly stable algorithms (Feldman, Vondr\\'{a}k, 2018, 2019), (Bousquet, Klochkov, Zhivotovskiy, 2020) contain a generally inevitable sampling error term of order $\\Theta(1/\\sqrt{n})$. When applied to excess risk bounds, this leads to suboptimal results in several standard stochastic convex optimization problems. We show that if the so-called Bernstein condition is satisfied, the term $\\Theta(1/\\sqrt{n})$ can be avoided, and high probability excess risk bounds of order up to $O(1/n)$ are possible via uniform stability. Using this result, we show a high probability excess risk bound with the rate $O(\\log n/n)$ for strongly convex and Lipschitz losses valid for \\emph{any} empirical risk minimization method. This resolves a question of Shalev-Shwartz, Shamir, Srebro, and Sridharan (2009). We discuss how $O(\\log n/n)$ high probability excess risk bounds are possible for projected gradient descent in the case of strongly convex and Lipschitz losses without the usual smoothness assumption.

연구 동기 및 목표

• 균일 안정 알고리즘에 대해 기대값 기반과 고확률 일반화 한계 사이의 격차를 메우기 위해.
• Shalev-Shwartz 등(2009)이 제기한, 강력 볼록성과 리프시츠 조건을 만족하는 손실 함수에서 ERM에 대해 $O(\log n/n)$의 고확률 초과 위험 한계를 달성할 수 있는지 여부에 대한 열린 질문을 해결하기 위해.
• 베르누이 조건이 성립할 경우, 기존 한계에서 존재하는 $O(1/\sqrt{n})$ 표본 오차 항을 피할 수 있는지 확인하기 위해.
• 손실 함수의 부드러움 조건 없이도 투영된 경사하강법에 대해 최적의 수렴 속도를 확장하기 위해.

제안 방법

• 초과 위험 한계를 개선하기 위해 베르누이 조건을 도입하고 활용하기 위해.
• 안정성으로부터 유도되는 약한 자기유대 랜덤 변수에 대해 수정된 로그 소볼레프 부등식을 적용하여 농도 한계를 도출하기 위해.
• 초과 위험를 안정성과 표본 오차 성분으로 분해하고, 베르누이 조건 하에서 후자를 제거하기 위해.
• 베르누이 조건 하에서 초과 위험의 자기유대 성질을 활용하여 손실 함수에 대한 균일한 상한을 설정하고, 베르누이 유형의 농도 부등식 적용을 가능하게 하기 위해.
• 균일 안정성과 베르누이 조건 하에서 초과 위험의 자기유대 성질을 활용하여 고확률 초과 위험 한계를 도출하기 위해.
• 결과를 경험 리스크 최소화와 투영된 경사하강법에 적용하여, 부드러움 가정 없이도 $O(\log n/n)$ 수렴 속도를 도출하기 위해.

실험 결과

연구 질문

• RQ1 균일 안정성이 $O(1/n)$ 순서의 고확률 초과 위험 한계를 도출할 수 있는가, 아니면 $O(1/\sqrt{n})$ 항이 피할 수 없는가?
• RQ2 강력 볼록성과 리프시츠 손실 함수 하에서, 부드러움 조건 없이도 ERM에 대해 $O(\log n/n)$의 고확률 초과 위험 한계를 달성할 수 있는가?
• RQ3 베르누이 조건과 같은 미약한 구조적 가정 하에서, 기존 고확률 한계에서 존재하는 $O(1/\sqrt{n})$ 표본 오차 항을 제거할 수 있는가?
• RQ4 손실 함수의 부드러움 없이도 투영된 경사하강법에 대해 최적의 $O(\log n/n)$ 수렴 속도를 달성할 수 있는가?

주요 결과

• 논문은 강력 볼록성과 리프시츠 손실 함수 하에서 경험 리스크 최소화에 대해 $O(\log n / n)$ 순서의 고확률 초과 위험 한계를 설정하며, Shalev-Shwartz 등(2009)에서 제기한 열린 질문을 해결한다.
• 베르누이 조건 하에서, 기존 한계에 존재하던 $O(1/\sqrt{n})$ 표본 오차 항이 제거되어 최대 $O(1/n)$ 수렴 속도를 달성할 수 있다.
• 손실 함수의 부드러움 없이도 투영된 경사하강법에 대해 균일 안정성에 기반한 $O(\log n / n)$ 초과 위험 한계를 도출할 수 있다.
• 강력 볼록성과 리프시츠 연속성 하에서 손실 함수가 균일하게 유계임을 보이며, 이는 베르누이 유형의 농도 부등식 적용을 가능하게 한다.
• 증명은 수정된 로그 소볼레프 부등식과 초과 위험의 약한 자기유대 성질에 기반하며, 엄밀한 농도 한계를 도출할 수 있다.
• 핵심 기술적 기여는 베르누이 조건을 활용해 안정성과 표본 오차를 분리함으로써 최적의 수렴 속도를 도출하는 데 있다.