[논문 리뷰] Variance-Reduced Stochastic Learning under Random Reshuffling

Bicheng Ying, Kun Yuan외 1명|arXiv (Cornell University)|2017. 08. 04.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 12

한 줄 요약

이 논문은 분산 감소 확률적 최적화에서 오랫동안 열려 있던 문제를 해결하며, 랜덤 리샘플링(RR) 하에서 SAGA 알고리즘의 선형 수렴에 대한 첫 이론적 증명을 제공한다. 또한 상수 저장공간과 균형 잡힌 기울기 계산을 달성하면서 RR 하에서 선형 수렴을 보장하는 새로운 알고리즘 AVRG를 제안하며, SAGA와 SVRG보다 향상된 실용적 효율성을 제공한다.

ABSTRACT

Several useful variance-reduced stochastic gradient algorithms, such as SVRG, SAGA, Finito, and SAG, have been proposed to minimize empirical risks with linear convergence properties to the exact minimizer. The existing convergence results assume uniform data sampling with replacement. However, it has been observed in related works that random reshuffling can deliver superior performance over uniform sampling and, yet, no formal proofs or guarantees of exact convergence exist for variance-reduced algorithms under random reshuffling. This paper makes two contributions. First, it resolves this open issue and provides the first theoretical guarantee of linear convergence under random reshuffling for SAGA; the argument is also adaptable to other variance-reduced algorithms. Second, under random reshuffling, the paper proposes a new amortized variance-reduced gradient (AVRG) algorithm with constant storage requirements compared to SAGA and with balanced gradient computations compared to SVRG. AVRG is also shown analytically to converge linearly.

연구 동기 및 목표

• 랜덤 리샘플링(RR) 하에서 분산 감소 확률적 알고리즘인 SAGA가 정확히 최소화점을 수렴하는지 여부라는 오랜 동안 열려 있던 문제를 해결하기 위해.
• 강력한 볼록성과 리프시츠 연속 기울기 표준 가정 하에, 랜덤 리샘플링 하에서 SAGA에 대한 첫 이론적 선형 수렴 보장 제공하기 위해.
• 에포크 동안 전체 기울기 계산을 분산하여 저장공간을 O(N)(SAGA의 경우)에서 O(1)으로 줄이고, 반복 간 기울기 계산을 균형 있게 유지하면서 RR 하에서 선형 수렴을 유지하는 새로운 암시적 분산 감소 기울기(AVRG) 알고리즘 설계하기 위해.
• 제안된 프레임워크의 적응 가능성을 보여주기 위해, SAGA 외 다른 분산 감소 알고리즘으로의 이론적 분석 확장하기 위해.

제안 방법

• 반복의 오차와 과거 기울기 평균을 조합한 새로운 리아푸노프 함수를 유도하여 RR 하에서의 수렴 분석하기 위해.
• 랜덤 리샘플링의 구조와 분산 감소 메커니즘의 특성을 활용하여, 반복의 기대 제곱 오차를 bound하기 위한 재귀 부등식 프레임워크를 도입하기 위해.
• 에포크 동안 전체 기울기 계산을 분산하여 저장공간을 O(N)(SAGA의 경우)에서 O(1)으로 줄이는 AVRG를 새로운 알고리즘으로 제안하기 위해.
• 조정 가능한 계수 γ를 가진 매개변수화된 리아푸노프 함수를 사용하여 오차와 기울기 추적 항을 균형 있게 조절하고, 더 낫게 수렴 한계를 도출하기 위해.
• 스텝 사이즈 μ에 대한 세 가지 핵심 조건을 확립하여 선형 수렴 보장하기 위해, 특히 μ ≤ ν/(9δ²N) 조건을 통해 수렴률 α < 1 확보하기 위해.
• 분석을 SAGA에 먼저 적용한 후, 제안된 프레임워크가 Finito와 SAG와 같은 다른 알고리즘으로도 확장 가능함을 보여주기 위해.

실험 결과

연구 질문

• RQ1 강력한 볼록성과 리프시츠 연속 기울기 표준 가정 하에, 랜덤 리샘플링 하에서 SAGA가 정확히 최소화점으로 선형 수렴하는가?
• RQ2 실제로 더 우수한 성능를 보이는 랜덤 리샘플링으로의 분산 감소 알고리즘 이론적 분석을 균일한 샘플링과 복원 추출에서 확장할 수 있는가?
• RQ3 랜덤 리샘플링 하에서 선형 수렴을 유지하면서도 상수 저장공간과 균형 잡힌 기울기 계산을 달성하는 새로운 분산 감소 알고리즘을 설계할 수 있는가?
• RQ4 SAGA와 AVRG가 랜덤 리샘플링 하에서 선형 수렴을 보장하기 위한 스텝 사이즈 μ의 충분한 조건는 무엇인가?
• RQ5 제안된 AVRG 알고리즘은 랜덤 리샘플링 하에서 SAGA와 SVRG에 비해 수렴 속도와 계산 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 논문은 표준 가정 하에 ν-강력 볼록성과 δ-리프시츠 연속 기울기 조건을 만족할 때, 랜덤 리샘플링 하에서 SAGA에 대한 첫 이론적 선형 수렴 보장을 확립한다.
• 수렴 속도는 α = (1 - μνN/4)/(1 - 3γδ²μ²N²) 인 선형 수렴률을 가지며, μ ≤ ν/(9δ²N) 일 때 α < 1를 만족한다.
• 제안된 AVRG 알고리즘은 SAGA의 O(N) 대비 상수 저장공간(O(1))을 달성하면서도 반복 간 기울기 계산을 균형 있게 유지한다.
• AVRG는 랜덤 리샘플링 하에서 선형 수렴을 분석적으로 증명하였으며, SAGA와 동일한 수렴 속도 구조를 유지한다.
• 스텝 사이즈 조건 μ ≤ ν/(9δ²N)는 리아푸노프 함수의 안정성과 압축성 조건을 모두 충족시키며, 모든 수렴 조건을 보장한다.
• 이 분석 프레임워크는 Finito와 SAG와 같은 다른 분산 감소 알고리즘으로도 일반화 가능하여, RR 기반 최적화의 이론적 기반을 확장한다.