[논문 리뷰] Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses

Raef Bassily, Vitaly Feldman외 2명|arXiv (Cornell University)|2020. 06. 12.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 19

한 줄 요약

이 논문은 비부드러운 볼록 손실에 대한 확률적 서브기울기 하강법(SGD)에 대해 날카운 일관된 안정성 경계를 수립하며, 다중 패assing SGD가 치수에 의존하지 않는 일반화 오차 경계를 달성함을 증명한다. 이는 이전 연구보다 더 단순하고 효율적인 알고리즘을 통해 비밀성 보장이 되는 비부드러운 확률적 볼록 최적화에 대해 최적의 초과 위험 보장을 처음으로 가능하게 한다.

ABSTRACT

Uniform stability is a notion of algorithmic stability that bounds the worst case change in the model output by the algorithm when a single data point in the dataset is replaced. An influential work of Hardt et al. (2016) provides strong upper bounds on the uniform stability of the stochastic gradient descent (SGD) algorithm on sufficiently smooth convex losses. These results led to important progress in understanding of the generalization properties of SGD and several applications to differentially private convex optimization for smooth losses. Our work is the first to address uniform stability of SGD on {\em nonsmooth} convex losses. Specifically, we provide sharp upper and lower bounds for several forms of SGD and full-batch GD on arbitrary Lipschitz nonsmooth convex losses. Our lower bounds show that, in the nonsmooth case, (S)GD can be inherently less stable than in the smooth case. On the other hand, our upper bounds show that (S)GD is sufficiently stable for deriving new and useful bounds on generalization error. Most notably, we obtain the first dimension-independent generalization bounds for multi-pass SGD in the nonsmooth case. In addition, our bounds allow us to derive a new algorithm for differentially private nonsmooth stochastic convex optimization with optimal excess population risk. Our algorithm is simpler and more efficient than the best known algorithm for the nonsmooth case Feldman et al. (2020).

연구 동기 및 목표

• 비부드러운 경우에 비해 광범위한 연구가 이루어졌음에도 불구하고, 비부드러운 볼록 손실에 대한 확률적 서브기울기 하강법(SGD)에 대한 일관된 안정성 분석의 부족을 해결한다.
• 임의의 리프시츠 비부드러운 볼록 손실에 대해 다양한 SGD 변종과 전체 배치 경사하강법(GD)의 일관된 안정성에 대해 날카운 상한 및 하한 경계를 제공한다.
• 특히 차원에 의존하지 않는 경계를 포함하여, 비부드러운 설정에서의 다중 패assing SGD에 대한 새로운 일반화 오차 경계를 유도한다.
• 최적의 초과 인구 위험과 향상된 계산 효율성을 갖춘, 비부드러운 확률적 볼록 최적화를 위한 새로운 비밀성 보장 알고리즘을 개발한다.
• 비부드러운 영역에서 일관된 안정성과 비밀성 보장 간의 연결 고리를 수립하여, 새로운 비밀성 보장 최적화 방법을 가능하게 한다.

제안 방법

• 단일 데이터 포인트가 교체될 때 손실의 최악의 변화를 제한하여, 비부드러운 볼록 손실에 대한 SGD와 전체 배치 GD의 일관된 안정성을 분석한다.
• 비부드러운 경우에 비해 본질적으로 불안정한 성질을 보여주는 새로운 하한 경계 구성 기법을 제안하여, 비부드러운 경우에서 SGD가 부드러운 경우보다 덜 안정할 수 있음을 입증한다.
• 초과 인구 위험을 최적화 오차와 일반화 오차로 분해하기 위해 일관된 분석 안정성(UAS)을 핵심 도구로 사용한다.
• UAS 경계를 활용하여 비밀성과 최적성을 보장하는 노이즈 주입 및 스텝 크기 감소 기반의 새로운 비밀성 보장 알고리즘 NSGD를 설계한다.
• UAS 프레임워크를 적용하여, 샘플링 재사용 및 고정 순서 변형을 포함한 다중 패assing SGD에 대한 고확률 및 기대 기반 초과 위험 경계를 도출한다.
• 안정성 프레임워크를 활용하여, 비밀성 보장 설정에서 $ O(n^2) $ 단계를 실행하면 최적의 초과 위험이 달성됨을 증명한다. 이는 계산 비용이 크지만 필수적일 수 있음을 시사한다.

실험 결과

연구 질문

• RQ1 비부드러운 볼록 손실에 대한 확률적 서브기울기 하강법(SGD)에 대해 날카운 일관된 안정성 경계는 무엇인가?
• RQ2 비부드러운 경우에서의 SGD 안정성은 부드러운 경우와 비교해 어떻게 다른가? 그리고 그 본질적인 제약 조건은 무엇인가?
• RQ3 일관된 안정성은 다중 패assing SGD의 비부드러운 영역에서 차원에 의존하지 않는 일반화 경계를 도출하는 데 사용될 수 있는가?
• RQ4 안정성 프레임워크는 비부드러운 확률적 볼록 최적화에 대해 최적의 초과 위험를 갖는 비밀성 보장 알고리즘을 설계하는 데 활용될 수 있는가?
• RQ5 $ O(n^2) $ 실행 시간이 비밀성 보장 비부드러운 최적화에서 최적의 초과 위험 확보에 필수적인가, 아니면 개선될 수 있는가?

주요 결과

• 논문은 비부드러운 볼록 손실에 대한 SGD에 대해 처음으로 날카운 상한 및 하한 경계를 도출하며, 안정성이 부드러운 경우보다 본질적으로 약하다는 것을 보여준다.
• 비부드러운 볼록 손실에 대한 다중 패assing SGD는 차원에 의존하지 않는 일반화 오차 경계를 달성하며, 초과 위험가 $ O\big(\frac{1}{\tilde{n}}\big) $로 경계된다. 여기서 $ \tilde{n} $은 유효 표본 크기이다.
• 제안된 NSGD 알고리즘은 비밀성 보장 비부드러운 확률적 볼록 최적화에서 최적의 초과 인구 위험을 달성하며, 이는 이전 연구 대비 단순성과 효율성에서 향상된다.
• NSGD 알고리즘의 초과 인구 위험는 고확률적으로 $ RL \times O\big(\text{max}\big(\frac{\text{log}(n)\text{log}(n/\theta)}{\tilde{n}}, \frac{\text{log}(1/\theta)}{\tilde{n}}\big)\big) $로 경계되며, 차원에 의존하지 않는 항을 포함한다.
• 분석 결과, 비밀성 보장 설정에서 최적의 초과 위험 확보를 위해 $ O(n^2) $ 단계가 충분하며, 안정성과 비밀성 제약 조건 하에서는 필수적일 수 있음을 시사한다.
• 결과적으로, 부드러움 기반 비확장성의 부재에도 불구하고, 일관된 안정성은 여전히 비부드러운 영역에서 일반화와 비밀성 보장에 강력한 도구로 기능한다.