[논문 리뷰] Stability and Convergence Trade-off of Iterative Optimization Algorithms

Yuansi Chen, Chi Jin외 1명|arXiv (Cornell University)|2018. 04. 04.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 42

한 줄 요약

논문은 학습에서의 반복적 최적화에 대한 수렴 속도와 알고리즘 안정성 사이의 근본적인 상충 관계를 밝히고, 최적화 오차와 안정성의 합이 minimax 통계 오차에 의해 하한이 되며, convex와 strongly convex 설정에서 GD, SGD, NAG, HB의 하한을 도출한다.

ABSTRACT

The overall performance or expected excess risk of an iterative machine learning algorithm can be decomposed into training error and generalization error. While the former is controlled by its convergence analysis, the latter can be tightly handled by algorithmic stability. The machine learning community has a rich history investigating convergence and stability separately. However, the question about the trade-off between these two quantities remains open. In this paper, we show that for any iterative algorithm at any iteration, the overall performance is lower bounded by the minimax statistical error over an appropriately chosen loss function class. This implies an important trade-off between convergence and stability of the algorithm -- a faster converging algorithm has to be less stable, and vice versa. As a direct consequence of this fundamental tradeoff, new convergence lower bounds can be derived for classes of algorithms constrained with different stability bounds. In particular, when the loss function is convex (or strongly convex) and smooth, we discuss the stability upper bounds of gradient descent (GD) and stochastic gradient descent and their variants with decreasing step sizes. For Nesterov's accelerated gradient descent (NAG) and heavy ball method (HB), we provide stability upper bounds for the quadratic loss function. Applying existing stability upper bounds for the gradient methods in our trade-off framework, we obtain lower bounds matching the well-established convergence upper bounds up to constants for these algorithms and conjecture similar lower bounds for NAG and HB. Finally, we numerically demonstrate the tightness of our stability bounds in terms of exponents in the rate and also illustrate via a simulated logistic regression problem that our stability bounds reflect the generalization errors better than the simple uniform convergence bounds for GD and NAG.

연구 동기 및 목표

• 반복 학습 알고리즘에서 최적화 수렴성과 일반화 사이의 균형 필요성에 대한 동기를 부여한다.
• 최적화 오차와 알고리즘 안정성의 합을 minimax 통계 오차로 하한하는 프레임워크를 도입한다.
• 볼록 및 강하게 볼록한 손실 설정에서 일반적인 1차 방법에 대한 안정성 경계와 대응하는 수렴 하한을 도출한다.
• 안정성-수렴의 트레이드오프의 실용적 관련성을 보여주는 이론적 통찰과 수치 시연을 제공한다

제안 방법

• 일반화 오차와 최적화 오차를 분해하여 트레이드오프를 연구한다.
• 일반화 오차를 경계하기 위해 uniform algorithmic stability(Bousquet and Elisseeff, 2002)을 사용한다.
• 두 가지 손실 함수 클래스(볼록 매끄럽고 강하게 볼록하고 매끄러운)를 개발하고 안정성과 수렴 사이의 하한을 연결하는 정리 7 및 9를 증명한다.
• 볼록 매끄러운 설정에서 GD, SGD, NAG, HB에 대한 안정성 경계를 도출하고(정리 10-12), 일반 볼록 매끄 손실에 확장하는 추측을 제시한다.
• 안정성-수렴 트레이드오프를 구체적 수렴 하한으로 전환하기 위해 Le Cam유형 minimax 논증을 적용한다.
• Rate-exponent를 검증하고 일반화 행동이 uniform 수렴 경계에 비해 더 잘 반영되는지 확인하기 위한 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 반복적 최적화 알고리즘의 수렴 속도와 학습에서의 안정성을 연결하는 근본적인 한계가 존재하는가?
• RQ2 uniform stability와 최적화 오차가 볼록 및 강하게 볼록한 매끄러운 손실 클래스에서 기대 초과 위험을 어떻게 공동으로 한계하는가?
• RQ3 안정성 기반 하한이 GD, SGD, NAG, HB의 알려진 수렴 속도와 일치하는가, 더 빠른 방법에 대한 시사점은 무엇인가?
• RQ4 초기 반복에서 안정성 고려가 일반화 오차를 전통적 uniform 수렴 경계보다 더 정확하게 반영하는가?

주요 결과

• 근본적인 상충 관계가 존재한다: 최적화 오차와 안정성의 합은 선택된 손실 클래스에 대해 최소-최대 통계 오차보다 크다.
• 볼록 매끄러운 손실의 경우 minimax 속도는 1/√n의 차수이고, 강하게 볼록하고 매끄러운 손실의 경우 1/n의 차수이다.
• Gradient descent와 SGD의 수렴 하한은 안정성 제약 프레임워크 내에서 알려진 상한에 상응하도록 상한을 맞춘다.
• Nesterov의 가속 경사(NAG) 및 무거운 볼(HB)은 더 빠른 수렴을 달성하면서 GD만큼 안정적일 수 없다는 안정성 경계가 있어 트레이드오프와 일치한다.
• 프레임워크는 서로 다른 안정성 경계 하에서 알고리즘에 대한 새로운 수렴 하한을 제시하고, 시뮬레이션은 속도지수와 초기 반복에서 일반화 오차를 간단한 uniform 경계보다 더 잘 반영하는 경향을 확인한다.
• 실험적 일러스트(로지스틱 회귀)는 안정성 경계가 일반화 오차의 경향과 더 밀접하게 일치함을 보여준다.