[논문 리뷰] Why Does Stagewise Training Accelerate Convergence of Testing Error Over SGD

Tianbao Yang, Yan Yan외 2명|arXiv (Cornell University)|2018. 12. 10.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 다항학습률 감쇠를 가진 일반적인 SGD와 비교해, 시계열적 학습이 테스트 오차 수렴을 가속화하는 이유를 설명하기 위해 기하급수적으로 감소하는 학습률과 각 단계에서의 명시적 정규화를 사용하는 시계열 정규화 학습 알고리즘을 제안한다. 손실 함수가 Polyak-Łojasiewicz 조건을 만족하는 경우—즉, 볼록 함수 및 약한 볼록 함수를 포함하여—기본 SGD보다 훈련 오차와 테스트 오차 양쪽에서 더 빠른 수렴을 달성하며, 차원 수와 노름에 영향을 받지 않는 테스트 오차 경계를 제공한다.

ABSTRACT

Stagewise training strategy is commonly used for learning neural networks, which uses a stochastic algorithm (e.g., SGD) starting with a relatively large step size (aka learning rate) and geometrically decreasing the step size after a number of iterations. It has been observed that the stagewise SGD has much faster convergence than the vanilla SGD with a polynomial decaying step size in terms of both training error and testing error. {\it But how to explain this phenomenon has been largely ignored by existing studies.} This paper provides some theoretical evidence for explaining this faster convergence. In particular, we consider the stagewise training strategy for minimizing empirical risk that satisfies the Polyak-\L ojasiewicz condition, which has been observed/proved for neural networks and also holds for a broad family of convex functions. For convex loss functions and nice-behaviored non-convex loss functions that are close to a convex function (namely weakly convex functions), we establish faster convergence of stagewise training than the vanilla SGD under the same condition on both training error and testing error. Indeed, the proposed algorithm has additional favorable features that come with theoretical guarantee for the considered non-convex optimization problems, including using explicit algorithmic regularization at each stage, using stagewise averaged solution for restarting, and returning the last stagewise averaged solution as the final solution. To differentiate from commonly used stagewise SGD, we refer to our algorithm as stagewise regularized training algorithm. Of independent interest, the proved testing error bounds for a family of non-convex loss functions are dimensionality and norm independent.

연구 동기 및 목표

• 다항학습률 감쇠를 가진 일반적인 SGD와 비교해, 시계열 학습이 테스트 오차 수렴을 가속화하는 경험적 관찰을 설명하기 위해.
• Polyak-Łojasiewicz 조건 하에서 경험 리스크 최소화 과정에서 시계열 학습의 더 빠른 수렴에 대한 이론적 근거를 제공하기 위해.
• 신경망에서 흔히 볼 수 있는 비볼록 손실 함수에 대해 차원 수와 노름에 독립적인 테스트 오차 경계를 설정하기 위해.
• 명시적 정규화, 각 단계에서의 평균화된 해, 마지막 단계의 해를 기반으로 한 최종 해를 포함하는 시계열 정규화 학습 알고리즘을 제안하고 분석하기 위해.

제안 방법

• 알고리즘은 각 단계에서 기하급수적으로 감소하는 학습률 스케줄을 사용하는 확률적 경사하강법을 적용한다.
• 각 단계에서 최적화의 안정성과 일반화 성능 향상을 위해 명시적 알고리즘 정규화를 적용한다.
• 각 단계 내에서 해를 평균화하고, 그 평균을 다음 단계의 시작점으로 사용한다.
• 최종 출력은 마지막 시계열 평균 해이며, 이는 향상된 일반화 성능을 보임을 입증한다.
• 이론적 분석은 많은 신경망 손실 함수와 볼록 함수 유사 비볼록 함수에 대해 성립하는 Polyak-Łojasiewicz 조건에 기반한다.
• 분석은 데이터 차원과 파라미터 노름에 영향을 받지 않는 일반화 경계를 도출하며, 이는 비볼록 설정에서의 새로운 결과이다.

실험 결과

연구 질문

• RQ1 왜 시계열 학습은 다항학습률 감쇠를 가진 일반적인 SGD보다 테스트 오차 수렴을 더 빠르게 하는가?
• RQ2 시계열 학습이 훈련 오차와 테스트 오차 양쪽에서 더 빠른 수렴을 달성할 수 있는 조건는 무엇인가?
• RQ3 비볼록 손실 함수에 대해 데이터 차원과 파라미터 노름에 독립적인 일반화 경계를 도출할 수 있는가?
• RQ4 각 단계에서의 명시적 정규화가 수렴과 일반화 향상에 어떤 역할을 하는가?
• RQ5 각 단계에서 평균화된 해를 사용하는 것이 더 나은 테스트 오차 성능을 어떻게 보장하는가?

주요 결과

• Polyak-Łojasiewicz 조건 하에서, 시계열 정규화 학습 알고리즘이 일반적인 SGD보다 훈련 오차와 테스트 오차 양쪽에서 더 빠른 수렴을 달성한다.
• 제안된 방법은 신경망에서 흔히 볼 수 있는 광범위한 비볼록 손실 함수 클래스에 대해 차원 수와 노름에 독립적인 테스트 오차 경계를 제공한다.
• 각 단계에서의 명시적 정규화는 개선된 일반화와 안정적인 수렴에 기여한다.
• 각 단계에서 평균화된 해를 사용해 재시작하는 것은 성능 향상과 이론적 보장을 보장한다.
• 마지막 단계의 평균 해를 최종 해로 취할 경우, 증명 가능한 오차 경계를 가진 뛰어난 일반화 성능을 달성한다.
• 이론적 분석은 시계열 학습에서 관찰된 더 빠른 수렴이 Polyak-Łojasiewicz 조건 하에서 최적화 역학에 의해 수학적으로 기반을 두고 있음을 확인한다.