[논문 리뷰] On Biased Stochastic Gradient Estimation

Derek Driggs, Jingwei Liang외 1명|arXiv (Cornell University)|2019. 06. 04.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 8

한 줄 요약

이 논문은 복합 최적화 문제에서의 편향된 확률적 경사 하강법에 대한 통합 분석 프레임워크를 제안한다. 복소수, 강력 복소수, 비볼록 조건을 모두 포함한다. SARGE라는 새로운 알고리즘을 제안하며, 이는 비볼록 유한합 문제에 대해 오рак루 복잡도 하한선을 달성하면서도, SVRG와 SARAH보다 반복당 더 적은 확률적 경사 하강 호출을 요구한다. 또한, 이는 처음으로 복소수 설정에서 SAG와 SARAH와 같은 편향된 추정기로도 확장된 프록시멀 방법을 제안한다.

ABSTRACT

We present a uniform analysis of biased stochastic gradient methods for minimizing convex, strongly convex, and non-convex composite objectives, and identify settings where bias is useful in stochastic gradient estimation. The framework we present allows us to extend proximal support to biased algorithms, including SAG and SARAH, for the first time in the convex setting. We also use our framework to develop a new algorithm, Stochastic Average Recursive GradiEnt (SARGE), that achieves the oracle complexity lower-bound for non-convex, finite-sum objectives and requires strictly fewer calls to a stochastic gradient oracle per iteration than SVRG and SARAH. We support our theoretical results with numerical experiments that demonstrate the benefits of certain biased gradient estimators.

연구 동기 및 목표

• 복소수, 강력 복소수, 비볼록 복합 목표 함수에 대한 편향된 확률적 경사 하강법의 통합 수렴 분석을 제공하는 것.
• 편향된 경사 추정이 수렴에 유리한 조건를 규명하는 것.
• 이전에 비편향 추정기로 제한되었던 프록시멀 방법을, 복소수 설정에서 SAG와 SARAH와 같은 편향 알고리즘을 지원하도록 확장하는 것.
• 비볼록 유한합 문제에 대해 오라클 복잡도 하한선을 충족하는 새로운 알고리즘 SARGE를 개발하는 것.
• 이론과 실험을 통해 특정 편향된 경사 추정기들이 실질적으로 비편향 대비 우월할 수 있음을 보여주는 것.

제안 방법

• 새로운 안정성 및 편향 분해 기법을 사용하여 편향된 확률적 경사 추정기 분석을 위한 일반적 프레임워크를 제안한다.
• SAGA와 재귀적 경사 업데이트를 결합하고 편향 보정 메커니즘을 갖춘 SARGE라는 새로운 스위치 평균 재귀 경사 추정기를 도입한다.
• 예상 제곱 오차를 제한하기 위해 재귀적 분산 분해를 사용하여, 편향 하에서의 수렴 분석을 가능하게 한다.
• 세 개의 수열을 사용하는 리아푸노프 함수 접근법을 사용한다: 하나는 경사 오차, 하나는 반복의 이동, 하나는 누적 경사 변화.
• 요우의 부등식과 기하급수 감쇠 성질을 사용하여 편향 및 분산 항을 제한함으로써 수렴 속도를 유도한다.
• 일반화된 편향 조건 하에서 수렴을 증명함으로써, 프레임워크를 사용해 프록시멀 방법을 편향 추정기로 확장한다.

실험 결과

연구 질문

• RQ1 편향된 확률적 경사 추정에서 수렴에 있어 유리한 설정은 무엇인가?
• RQ2 복소수 설정에서 SAG와 SARAH와 같은 편향된 경사 추정기로도 프록시멀 방법을 확장할 수 있는가?
• RQ3 비볼록 유한합 문제에 대해 오라클 복잡도 하한선을 충족하는 새로운 편향된 확률적 경사 하강 방법을 설계할 수 있는가?
• RQ4 비볼록 설정에서 SARGE, SVRG, SARAH 간의 반복당 확률적 경사 오라클 호출 수는 어떻게 비교되는가?
• RQ5 복합 목표 구조 하에서 편향된 확률적 경사 하강법의 수렴을 보장하는 이론적 조건는 무엇인가?

주요 결과

• SARGE는 비볼록 유한합 문제에 대해 최적의 오라클 복잡도 하한선을 달성하며, 이론적으로 가능한 최고의 속도를 구현한다.
• SARGE는 SVRG와 SARAH보다 반복당 더 적은 확률적 경사 오라클 호출을 요구하여 실용적 효율성을 향상시킨다.
• 이 논문은 복소수 설정에서 SAG와 SARAH와 같은 편향된 추정기를 사용하는 프록시멀 방법의 첫 번째 수렴 분석을 수립한다.
• 프레임워크는 메모리가 있는 분산 감소 방법에서 편향이 적절히 제어될 경우 유리할 수 있음을 증명한다.
• 수치 실험을 통해 SARGE와 같은 특정 편향 추정기들이 수렴 속도와 안정성 면에서 비편향 대비 뛰어난 성능을 보임을 확인한다.
• 분석 결과, SARGE의 경사 추정기의 기대 제곱 오차는 온화한 조건 하에서 기하급수적으로 감쇠함을 보여주며, 이는 빠른 수렴을 가능하게 한다.