[논문 리뷰] Generalization Bounds for Uniformly Stable Algorithms

Vitaly Feldman, J. Vondrák|arXiv (Cornell University)|2018. 12. 24.

Sparse and Compressive Sensing Techniques인용 수 33

한 줄 요약

이 논문은 고정된 안정성 알고리즘에 대한 일반화 경계를 개선하여 더 날카운 고확률 및 이차모멘트 경계를 도입한다. 이는 일반화 오차가 높은 확률로 $ O(\sqrt{(\gamma + 1/n)\log(1/\delta)}) $ 이하로 제한됨을 증명하며, 기존 경계에서 $ \sqrt{n} $ 요소와 $ \gamma $ 에 대해 제곱 오차가 있었던 것을 개선한다.

ABSTRACT

Uniform stability of a learning algorithm is a classical notion of algorithmic stability introduced to derive high-probability bounds on the generalization error (Bousquet and Elisseeff, 2002). Specifically, for a loss function with range bounded in $[0,1]$, the generalization error of a $γ$-uniformly stable learning algorithm on $n$ samples is known to be within $O((γ+1/n) \sqrt{n \log(1/δ)})$ of the empirical error with probability at least $1-δ$. Unfortunately, this bound does not lead to meaningful generalization bounds in many common settings where $γ\geq 1/\sqrt{n}$. At the same time the bound is known to be tight only when $γ= O(1/n)$. We substantially improve generalization bounds for uniformly stable algorithms without making any additional assumptions. First, we show that the bound in this setting is $O(\sqrt{(γ+ 1/n) \log(1/δ)})$ with probability at least $1-δ$. In addition, we prove a tight bound of $O(γ^2 + 1/n)$ on the second moment of the estimation error. The best previous bound on the second moment is $O(γ+ 1/n)$. Our proofs are based on new analysis techniques and our results imply substantially stronger generalization guarantees for several well-studied algorithms.

연구 동기 및 목표

• 안정성 매개변수 $ \gamma \geq 1/\sqrt{n} $ 인 경우 기존 고확률 일반화 경계가 의미를 잃는 문제를 해결한다. 이 경우 기존 경계는 빈약해진다.
• 기존의 $ O((\gamma + 1/n)\sqrt{n\log(1\delta)}) $ 경계보다 더 나은 $ \sqrt{(\gamma + 1/n)\log(1/\delta)} $ 의 스케일링을 보이는 새로운 고확률 경계를 제시함으로써 알려진 상한과 타당성 결과 사이의 격차를 메운다.
• 이전의 $ O(\gamma + 1/n) $ 경계보다 더 날카운 $ O(\gamma^2 + 1/n) $ 의 이차모멘트 경계를 확립한다. 이전 경계는 $ \gamma $ 에 대해 제곱 오차가 있었다.
• 확률적 경사 하강법과 차별적 안정성 학습과 같은 잘 알려진 알고리즘에 적용하여 실용적 영향을 보여주며, 더 강력한 일반화 보장을 도출한다.

제안 방법

• 고정된 안정성 알고리즘의 추정 오차에 대한 더 날카운 경계를 도출하기 위해 대칭화와 농도 불등식을 기반으로 한 새로운 분석 프레임워크를 도입한다.
• 일개 데이터 포인트의 변화에 따른 손실 함수의 민감도를 정교하게 분석하여 일반화 오차의 꼬리 행동을 제어한다.
• 추정 오차를 편향과 분산 유사 성분으로 분해하는 새로운 방법을 적용하여 $ O(\gamma^2 + 1/n) $ 의 향상된 이차모멘트 경계를 유도한다.
• McDiarmid 유형의 농도와 반농도 주장의 조합을 사용하여 $ 1/\delta $ 에 대해 로그 의존성을 가지며, 이전 결과에서 나타나는 $ \sqrt{n} $ 요소를 피하는 고확률 경계를 유도한다.
• 프로젝션 경사 하강법과 차별적 안정성 예측과 같은 특정 알고리즘에 새로운 경계를 적용하기 위해, 그들이 요구하는 고정된 안정성 조건을 만족함을 보여준다.
• 차별적 안정성과 고정된 안정성 간의 연결성을 활용하여, $ \epsilon $ 에 대해 향상된 경계를 도출함으로써 차별적 예측 알고리즘에 대한 고확률 경계를 유도한다.

실험 결과

연구 질문

• RQ1 고정된 안정성 알고리즘에 대한 고확률 일반화 경계는 고전적 경계인 $ O((\gamma + 1/n)\sqrt{n\log(1/\delta)}) $ 를 초월해 개선될 수 있는가?
• RQ2 이차모멘트 경계 $ O(\gamma + 1/n) $ 는 타당한가, 아니면 $ O(\gamma^2 + 1/n) $ 으로 개선될 수 있는가?
• RQ3 새로운 경계는 확률적 경사 하강법과 차별적 예측자와 같은 실용적 알고리즘에 적용되어 더 강력한 일반화 보장을 도출할 수 있는가?
• RQ4 새로운 경계 하에서 안정성 $ \gamma $, 표본 크기 $ n $, 신뢰 수준 $ \delta $ 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 고차원 또는 비볼록 설정에서 기존 결과와 비교해 새로운 경계는 타당성과 적용 가능성 측면에서 어떻게 다른가?

주요 결과

• 논문은 새로운 고확률 일반화 경계 $ O(\sqrt{(\gamma + 1/n)\log(1/\delta)}) $ 를 확립하며, 이는 고전적 경계에서 $ \sqrt{n} $ 요소를 제거함으로써 개선된다. 특히 $ \gamma \geq 1/\sqrt{n} $ 인 경우 뚜렷한 개선이 이루어진다.
• 이전의 $ O(\gamma + 1/n) $ 경계보다 훨씬 더 날카운 $ O(\gamma^2 + 1/n) $ 의 이차모멘트 경계를 증명한다. 이전 경계는 $ \gamma $ 에 대해 제곱 오차가 있었다.
• 볼록성, 리프시츠 조건, 미분 가능성 조건을 만족하는 함수에 대해 프로젝션 경사 하강법(PGD)의 경우 안정성 $ \gamma = \sqrt{T}/n $ 을 달성하며, 최적의 $ T $ 를 선택하면 일반화 오차는 확률 $ 1 - \delta $ 에서 $ O(1/\delta^{1/4}\sqrt{n}) $ 이하로 제한된다.
• 차별적 안정성 예측 알고리즘의 경우, 고확률 경계 $ O(\sqrt{(e^\epsilon - 1)\log(1/\delta)}) $ 를 도출한다. 이는 특정 매개변수 영역에서 이전 결과보다 개선된 성능을 보인다.
• 새로운 경계는 확률적 경사 하강법과 차별적 안정성 모델 모두에 적용 가능하며, 이전에 알려진 것보다 더 강력한 일반화 보장을 도출한다.
• 결과적으로 새로운 경계는 $ \gamma = O(1/n) $ 인 영역에서 알려진 하한선과 일치함을 보여주며, 이 경우 최적성임을 확인한다.