[논문 리뷰] Stability of SGD: Tightness Analysis and Improved Bounds

Yikai Zhang, Wenjia Zhang외 4명|arXiv (Cornell University)|2021. 02. 10.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 확률적 경사 하강법(SGD)에서 알고리즘적 안정성에 대한 날카운 분석을 제공하며, 볼록 및 강볼록 손실 함수에 대해 기존의 경계가 날카롭다는 것을 보여주지만, 비볼록 설정에서는 향상될 수 있음을 밝힌다. 비볼록 상황에서 더 날카운 경계를 제공하며, 볼록 정규화 손실 함수에 대해 새로운 데이터에 의존하는 안정성 경계를 도입한다. 이는 현실적인 데이터 분포 하에서 딥 러닝 모델의 일반화 보장을 크게 향상시킨다.

ABSTRACT

Stochastic Gradient Descent (SGD) based methods have been widely used for training large-scale machine learning models that also generalize well in practice. Several explanations have been offered for this generalization performance, a prominent one being algorithmic stability [18]. However, there are no known examples of smooth loss functions for which the analysis can be shown to be tight. Furthermore, apart from the properties of the loss function, data distribution has also been shown to be an important factor in generalization performance. This raises the question: is the stability analysis of [18] tight for smooth functions, and if not, for what kind of loss functions and data distributions can the stability analysis be improved? In this paper we first settle open questions regarding tightness of bounds in the data-independent setting: we show that for general datasets, the existing analysis for convex and strongly-convex loss functions is tight, but it can be improved for non-convex loss functions. Next, we give a novel and improved data-dependent bounds: we show stability upper bounds for a large class of convex regularized loss functions, with negligible regularization parameters, and improve existing data-dependent bounds in the non-convex setting. We hope that our results will initiate further efforts to better understand the data-dependent setting under non-convex loss functions, leading to an improved understanding of the generalization abilities of deep networks.

연구 동기 및 목표

• SGD에 대한 기존 알고리즘적 안정성 경계가 부드럽고 볼록적이며 강볼록 손실 함수에 대해 날카운지 여부를 결정하는 것.
• 기존의 데이터 독립적 분석을 초월하여 데이터에 의존하는 안정성 경계가 향상될 수 있는지 조사하는 것.
• 실제 데이터 분포 하에서 비볼록 및 정규화된 손실 함수에 대해 더 날카운, 실용적인 안정성 경계를 유도하는 것.
• 개선된 안정성 분석을 통해 딥 네ural 네트워크의 일반화 성능에 대한 이론적 통찰을 제공하는 것.

제안 방법

• 쌍둥이 데이터셋에서 파arameter 궤적의 발산에 기반한 새로운 데이터에 의존하는 안정성 분석 프레임워크를 제안한다.
• 반복 간격의 기하급수적 증가를 이용한 재귀적 경계 기법을 도입하여 SGD에서 오차 전파를 통제한다.
• 한 샘플의 차이로 인해 달라지는 데이터셋으로 훈련된 쌍둥이 모델 간의 파라미터 차이 Δt의 기대 노름을 정교하게 분석한다.
• 손실 함수의 부드러움, 리프시츠 조건 및 헤시안-리프시츠 조건을 활용하여 안정성에 대한 더 날카운 경계를 도출한다.
• 수렴성과 안정성 간의 트레이드오프를 분석하기 위해 αt = b/t 및 αt = a/(βt) 등의 스텝 사이즈 규칙을 활용한다.
• 로그함수 및 거듭제곱 법칙 항을 포함한 T와 n에 대한 상한 경계를 도출하여 평균 안정성 εstab의 상한을 유도하며, 데이터에 의존하는 상수 ζ를 통합한다.

실험 결과

연구 질문

• RQ1 볼록 및 강볼록 손실 함수에 대해 기존의 데이터 독립적 안정성 경계가 날카운가?
• RQ2 비볼록 손실 함수에 대해 안정성 경계를 향상시킬 수 있으며, 만약 가능하다면 어떤 조건에서 가능한가?
• RQ3 데이터 분포 및 정규화와 같은 데이터에 의존하는 요소들이 SGD의 안정성에 어떤 영향을 미치는가?
• RQ4 정규화된 볼록 및 비볼록 손실 함수에 대해 더 날카운 비점근적 경계를 도출할 수 있는가?

주요 결과

• 볼록 및 강볼록 손실 함수에 대해 [18]에서 제시된 기존 안정성 경계는 날카롭며, 순서 Ω(1/n) 및 Ω(T/n)의 하한 경계와 일치함을 입증하였다.
• 상수 스텝 사이즈 αt = a/β를 가진 비볼록 손실 함수에 대해, 존재하는 경계가 추가 가정 없이 향상될 수 없음을 보여주는 하한 경계 Ω(T^a / n^{1+a})를 도출하였다.
• 스텝 사이즈 αt = b/t를 가진 비볼록 손실 함수에 대해, 이전 결과보다 더 날카운 데이터에 의존하는 상한 경계 O(T^{ζb} / n^{1+ζb})를 도출하였다.
• 노티블한 정규화가 없는 볼록 정규화 손실 함수에 대해, 상수 스텝 사이즈 하에서 [18]의 T-의존 경계보다 더 날카운 안정성 경계 O(1/n)를 제공하였다.
• 분석 결과, 데이터의 구조를 반영하는 데이터에 의존하는 상수 ζ가 비볼록 설정에서 일반화 갭을 크게 줄일 수 있음을 밝혔다.
• 이론적 결과는 재귀적 경계 기법과 파라미터 발산의 확률적 분석에 의해 지지되며, 로그 및 지수 항을 통한 명시적 상수들이 유도되었다.