[논문 리뷰] L-SVRG and L-Katyusha with Arbitrary Sampling

Xun Qian, Zheng Qu외 1명|arXiv (Cornell University)|2019. 06. 04.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 11

한 줄 요약

이 논문은 임의의 샘플링을 고려한 L-SVRG와 L-Katyusha를 소개하며, 일반적인 샘플링 체계(비균일 및 복원 샘플링 포함) 하에서 수렴 분석이 가능하도록 하는 새로운 기대 스무쓰니스 조건을 제안한다. 이 방법은 특정 기대 미니배치 크기에서 선형 속도 향상을 달성하며, 기대 분離 가능 과근사(Estimated Separable Overapproximation, ESO)와의 연결을 통해 데이터 희소성도 활용한다. 이는 이전의 루프 없는 방법들을 특수 케이스로 포함하면서도 비볼록 및 비강한 볼록 설정으로의 적용 가능성을 확장한다.

ABSTRACT

We develop and analyze a new family of {\em nonaccelerated and accelerated loopless variance-reduced methods} for finite sum optimization problems. Our convergence analysis relies on a novel expected smoothness condition which upper bounds the variance of the stochastic gradient estimation by a constant times a distance-like function. This allows us to handle with ease {\em arbitrary sampling schemes} as well as the nonconvex case. We perform an in-depth estimation of these expected smoothness parameters and propose new importance samplings which allow {\em linear speedup} when the expected minibatch size is in a certain range. Furthermore, a connection between these expected smoothness parameters and expected separable overapproximation (ESO) is established, which allows us to exploit data sparsity as well. Our results recover as special cases the recently proposed loopless SVRG and loopless Katyusha.

연구 동기 및 목표

• 루프 없는 분산 감소 방법에 대한 임의의 샘플링 체계 하에서 통합된 수렴 분석 프레임워크를 개발하는 것.
• L-SVRG와 L-Katyusha의 적용 가능성을 강한 볼록성 및 스무쓰니스 조건을 초월하여 비강한 볼록성 및 비볼록 문제로 확장하는 것.
• 기대 스무쓰니스 파라미터와 기대 분리 가능 과근사(ESO) 간의 연결 고리를 설정하여 데이터 희소성을 효율적으로 활용하는 것.
• 기대 미니배치 크기가 유리한 범위에 있을 때 선형 속도 향상을 달성하는 새로운 중요도 샘플링 전략을 도출하는 것.
• 기존의 루프 없는 방법들(L-SVRG 및 L-Katyusha)을 통합된 이론적 프레임워크 하에서 특수 케이스로 복원하고 일반화하는 것.

제안 방법

• 스티오스틱 그래디언트의 분산을 상수와 유사한 거리 함수의 곱으로 제한하는 새로운 기대 스무쓰니스 조건을 제안하여, 임의의 샘플링 하에서도 분석이 가능하도록 한다.
• 복원 샘플링 포함한 임의의 샘플링 하에서 L-SVRG와 L-Katyusha에 대한 통합된 수렴 분석을 수행하며, 기대 스무쓰니스 파라미터를 추정한다.
• 기대 미니배치 크기가 특정 범위 내에 있을 때 선형 속도 향상을 보장하는 새로운 중요도 샘플링 전략을 유도한다.
• 기대 스무쓰니스 파라미터와 기대 분리 가능 과근사(ESO) 간의 공식적 연결 고리를 설정하여, 희소 또는 구조화된 데이터 세트에서의 데이터 희소성 효율적 활용이 가능하도록 한다.
• 재귀적 업데이트 구조를 활용하여 각 반복에서 O(log T)의 업데이트 복잡도를 유지하는 L-SVRG 및 L-Katyusha에 대한 효율적인 구현을 설계한다.
• 지연 업데이트 메커니즘과 재귀적 평균화를 사용하여 외부 루프 없이도 수렴 속도를 유지하면서 실용적 안정성과 단순성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비균일 및 복원 샘플링을 포함한 임의의 샘플링 하에서 루프 없는 분산 감소 방법에 대한 통합된 수렴 분석을 개발할 수 있는가?
• RQ2 기대 스무쓰니스 파라미터는 비볼록 및 비강한 볼록 문제에서 수렴 보장을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 L-SVRG와 L-Katyusha의 기대 미니배치 크기가 유리한 범위에 있을 때 선형 속도 향상을 달성할 수 있도록 중요도 샘플링을 어떻게 설계할 수 있는가?
• RQ4 기대 스무쓰니스와 ESO 간의 연결 고리는 어떤 방식으로 희소 데이터에서 더 나은 성능을 가능하게 하는가?
• RQ5 제안된 프레임워크는 기존의 루프 없는 방법들인 L-SVRG와 L-Katyusha를 특수 케이스로 복원하고 일반화할 수 있는가?

주요 결과

• 제안된 기대 스무쓰니스 조건은 비균일 및 복원 샘플링을 포함한 임의의 샘플링 하에서도 L-SVRG와 L-Katyusha의 수렴 분석이 가능하게 하여, 이전 연구에서 균일 샘플링에 국한된 분석을 초월한다.
• 기대 미니배치 크기가 유리한 범위에 있을 때 선형 속도 향상을 달성하는 새로운 중요도 샘플링 전략이 도출되었으며, 실질적으로 수렴 속도 향상에 기여한다.
• 기대 스무쓰니스와 ESO 간의 연결 고리는 데이터 희소성을 효율적으로 활용할 수 있도록 하여, 알고리즘의 구조를 수정하지 않고도 희소 데이터 세트에서 더 빠른 수렴을 이끌어낸다.
• 비강한 볼록성 및 비볼록 케이스에 대한 이론적 수렴 속도가 확립되었으며, 이는 이전에 루프 없는 방법에 대해 이러한 분석이 불가능했던 문헌의 빈도를 메운다.
• 기존에 제안된 루프 없는 SVRG와 루프 없는 Katyusha가 모두 제안된 프레임워크의 특수 케이스로 복원되어, 그 일반성과 기존 결과와의 일관성을 검증한다.
• 수치 실험을 통해 제안된 방법이 비균일 샘플링 및 희소 데이터 환경에서 표준 구현 대비 수렴 속도와 안정성 면에서 뛰어난 성능을 보임을 입증한다.