[논문 리뷰] Optimal mini-batch and step sizes for SAGA

Nidham Gazagnadou, Robert M. Gower외 1명|arXiv (Cornell University)|2019. 01. 31.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 18

한 줄 요약

이 논문은 SAGA에서의 기대 smoothness 상수에 대한 폐쇄형 표현식을 제안하여, 그리드 서치 없이도 최적의 미니배치 크기와 스텝 사이즈를 선택할 수 있도록 한다. 이러한 경계를 활용해 저자들은 이론적으로 최적인 더 큰 스텝 사이즈를 유도하고, SAGA의 총 복잡도가 최적의 점까지 미니배치 크기와 함께 선형적으로 감소함을 보여주며, 이는 스위치드 변동성 감소 방법에서 흔히 볼 수 없는 선형 속도 향상이다.

ABSTRACT

Recently it has been shown that the step sizes of a family of variance reduced gradient methods called the JacSketch methods depend on the expected smoothness constant. In particular, if this expected smoothness constant could be calculated a priori, then one could safely set much larger step sizes which would result in a much faster convergence rate. We fill in this gap, and provide simple closed form expressions for the expected smoothness constant and careful numerical experiments verifying these bounds. Using these bounds, and since the SAGA algorithm is part of this JacSketch family, we suggest a new standard practice for setting the step sizes and mini-batch size for SAGA that are competitive with a numerical grid search. Furthermore, we can now show that the total complexity of the SAGA algorithm decreases linearly in the mini-batch size up to a pre-defined value: the optimal mini-batch size. This is a rare result in the stochastic variance reduced literature, only previously shown for the Katyusha algorithm. Finally we conjecture that this is the case for many other stochastic variance reduced methods and that our bounds and analysis of the expected smoothness constant is key to extending these results.

연구 동기 및 목표

• SAGA에서 스텝 사이즈와 반복 복잡도를 결정짓는 기대 smoothness 상수의 사전 계산을 가능하게 하여, 변동성 감소 최적화 분야의 격차를 메운다.
• 기존의 b=1 또는 고정된 b=20와 같은 표준 설정보다 뛰어난 실용적 이론 최적의 미니배치 크기와 스텝 사이즈 설정을 유도한다.
• SAGA의 총 복잡도가 최적의 배치 크기까지 미니배치 크기와 함께 선형적으로 감소함을 입증한다. 이는 이전에 Katyusha에서만 보고된 결과였다.
• 기대 smoothness 상수에 대한 정교한 경계를 사용해 수렴 속도와 안정성을 향상시키기 위한 이론적 및 실증적 근거를 제공한다.

제안 방법

• SAGA에서 무작위로 선택하지 않고 미리 정렬된 샘플링을 사용할 경우 기대 smoothness 상수에 대한 단순한 상한을 유도한다.
• 더 날카운 경계를 확보하기 위해 정교한 행렬 농도 부등식을 개발하여 기대 smoothness 상수에 대한 더 날카운 베르누이 타입의 경계를 도출한다.
• 이 경계들을 사용해 표준 설정보다 훨씬 큰 최적의 스텝 사이즈를 계산하고, 이를 통해 수렴 속도를 향상시킨다.
• 비용이 많이 드는 그리드 서치를 피하기 위해 기대 smoothness 경계를 기반으로 실용적인 미니배치 크기 추정치 b_practical을 제안한다.
• 총 반복 복잡도 K_total(b)를 미니배치 크기 b에 대한 조각별 선형 함수로 공식화하여, 최적의 b*까지 선형 속도 향상을 보여준다.
• 실제 및 합성 데이터셋을 대상으로 한 광범위한 수치 실험을 통해 이론적 경계와 실용적 설정의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 무작위 선택이 아닌 미니배치 샘플링을 사용할 때 SAGA의 기대 smoothness 상수를 폐쇄형으로 계산할 수 있는가?
• RQ2 총 반복 복잡도를 최소화하는 SAGA의 최적의 미니배치 크기는 무엇이며, b=1 또는 b=20와 비교해 볼 때 어떻게 다른가?
• RQ3 수렴 보장을 유지하면서도 표준 설정보다 훨씬 큰 스텝 사이즈를 도출할 수 있는가?
• RQ4 SAGA는 미니배치 크기가 증가함에 따라 총 복잡도에서 선형 속도 향상을 보이는가? 그리고 어느 정도까지 그러한 현상이 지속되는가?
• RQ5 제안된 실용적 미니배치 크기 b_practical은 그리드 서치를 통해 확보한 경험적 최적 값과 얼마나 가까운가?

주요 결과

• 무작위 선택이 아닌 미니배치 샘플링을 사용할 때 SAGA의 기대 smoothness 상수는 단순한 및 정교한 (베르누이 타입의) 부등식을 사용해 폐쇄형으로 경계할 수 있다.
• 이러한 경계를 기반으로 한 제안된 스텝 사이즈는 표준 SAGA(Defazio 등)의 설정보다 훨씬 크며, 실질적으로도 더 뛰어난 성능을 보인다.
• SAGA의 총 반복 복잡도 K_total(b)는 미니배치 크기 b에 대해 조각별 선형 함수이며, 최적의 배치 크기 b*까지 선형 감소한다.
• 최적의 미니배치 크기 b*는 b=1이 아니며, 제안된 실용적 추정치 b_practical는 그리드 서치를 통해 확보한 경험적 최적 값과 매우 유사하다.
• 실제 데이터셋인 covtype.binary 및 ijcnn1에서, 제안된 설정은 고전적인 SAGA 및 Hofmann의 설정보다 에포크 수와 월클럭 시간 모두에서 더 빠른 수렴을 달성한다.
• b*를 초과하는 미니배치 크기에서는 총 복잡도가 폭발적으로 증가함을 확인하여, 명확한 최적의 배치 크기가 존재하며 이론적 조각별 선형 복잡도 모델이 타당함을 검증한다.