[논문 리뷰] Stability and Generalization of Learning Algorithms that Converge to Global Optima

Zachary Charles, Dimitris Papailiopoulos|arXiv (Cornell University)|2017. 10. 23.

Stochastic Gradient Optimization Techniques인용 수 62

한 줄 요약

이 논문은 Polyak-Łojasiewicz 및 이차 증가 조건하에서 전역 최소값으로 수렴하는 학습 알고리즘에 대한 블랙박스 안정성/일반화 경계를 도출하고 이를 비볼록 설정에서 SGD, GD, RCD, SVRG에 적용한다.

ABSTRACT

We establish novel generalization bounds for learning algorithms that converge to global minima. We do so by deriving black-box stability results that only depend on the convergence of a learning algorithm and the geometry around the minimizers of the loss function. The results are shown for nonconvex loss functions satisfying the Polyak-{\\L}ojasiewicz (PL) and the quadratic growth (QG) conditions. We further show that these conditions arise for some neural networks with linear activations. We use our black-box results to establish the stability of optimization algorithms such as stochastic gradient descent (SGD), gradient descent (GD), randomized coordinate descent (RCD), and the stochastic variance reduced gradient method (SVRG), in both the PL and the strongly convex setting. Our results match or improve state-of-the-art generalization bounds and can easily be extended to similar optimization algorithms. Finally, we show that although our results imply comparable stability for SGD and GD in the PL setting, there exist simple neural networks with multiple local minima where SGD is stable but GD is not.

연구 동기 및 목표

• PL/QG 기하학 하에서 전역 최소값으로의 수렴이 안정성과 일반화 보장을 어떻게 제공하는지 동기화하고 정량화한다.
• 최소점 근처의 국부 기하학 및 알고리즘 수렴에 의존하는 블랙박스 안정성 경계를 개발한다.
• PL 및 강볼록 영역 전반에서 일반적인 최적화 방법(SGD, GD, RCD, SVRG)에의 적용 가능성을 보인다.
• PL/QG 조건이 선형 활성화가 있는 신경망과 심층 선형 네트워크에서 나타난다는 것을 입증한다.

제안 방법

• PL 및 QG 조건을 정의하고 이를 점별 안정성 및 균일 안정성 프레임워크를 통해 안정성 및 일반화와 연결한다.
• 알고리즘 수렴(epsilon_A 타입 항)을 기하상수(mu, L, n)로부터 분리한 안정성 경계를 도출한다.
• PL 또는 강볼록성 하에서 알려진 수렴 속도를 사용하는 일阶 방법들(SDG, GD, RCD, SVRG)에 경계를 적용한다.
• PL 하에서 안정성 경계가 기존 결과와 일치하거나 개선되며, 볼록성이나 강볼록성을 요하지 않음을 보인다.
• 일부 비볼록 설정에서 SGD는 안정하지만 GD는 그렇지 않은 예를 제시한다.

실험 결과

연구 질문

• RQ1 볼록성을 가정하지 않고 PL 또는 QG를 만족하는 비볼록 손실에 대해 안정성/전역 일반화 경계(bound)를 얻을 수 있는가?
• RQ2 일반 알고리즘(SGD, GD, RCD, SVRG)의 수렴 특성이 PL/QG 하에서 안정성 보장을 어떻게 도출하는가?
• RQ3 PL 및 QG 클래스가 선형 활성화를 갖는 신경망에서 발생하는 실제 손실 지형을 포착하는가?
• RQ4 비볼록 설정에서 SGD와 GD의 안정성이 언제 서로 다른가, 그리고 일반화에 대한 함의는 무엇인가?

주요 결과

• PL/QG 조건하에서 알고리즘 수렴과 전역 최소점 주변의 국부 기하에 의존하는 안정성 경계가 도출된다.
• PL 하에서 글로벌 옵티마로 수렴하는 A를 갖는 경험적 손실은 명시적 2L^2/(mu(n-1)) 항(또는 관련 표현)을 갖는 점별 가설 안정성을 산출한다.
• QG 하에서도 mu와 표본 크기 n에 의존하는 유사한 안정성 경계가 얻어지며, 경계는 Lipschitz 상수 L과 손실 상한 c에 비례하여 스케일된다.
• 결과는 강볼록한 경우에 차수별(stability) 경계를 회복하고, SGD, GD, RCD, SVRG 등의 광범위한 알고리즘에 확장된다.
• 본 논문은 비볼록 설정에서 SGD는 안정적이나 GD는 그렇지 않은 예를 제시한다.
• PL은 선형 활성화를 갖는 네트워크(심층 선형 네트워크를 포함)에서 나타나며, 이 이론의 실용적 타당성을 시사한다.