[논문 리뷰] Convergence of Variance-Reduced Stochastic Learning under Random Reshuffling.

Bicheng Ying, Kun Yuan외 1명|arXiv (Cornell University)|2017. 08. 04.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 랜덤 리샘플링 하에서 SAGA 알고리즘의 선형 수렴에 대한 이론적 증명을 처음으로 제시한다. 이는 실무에서 성능을 향상시키는 일반적인 히우리스틱이다. 또한 상수 저장소와 균형 잡힌 기울기 계산을 갖춘 새로운 분산 감소 알고리즘인 AVRG를 도입하여 선형 수렴을 보이며, 기존 방법들에 비해 실용적이고 효율적인 대안을 제공한다.

ABSTRACT

Several useful variance-reduced stochastic gradient algorithms, such as SVRG, SAGA, Finito, and SAG, have been proposed to minimize empirical risks with linear convergence properties to the exact minimizers. The existing convergence results assume uniform data sampling with replacement. However, it has been observed that random reshuffling can deliver superior performance. No formal proofs or guarantees of exact convergence exist for variance-reduced algorithms under random reshuffling. This paper resolves this open convergence issue and provides the first theoretical guarantee of linear convergence under random reshuffling for SAGA; the argument is also adaptable to other variance-reduced algorithms. Under random reshuffling, the paper further proposes a new amortized variance-reduced gradient (AVRG) algorithm with constant storage requirements compared to SAGA and with balanced gradient computations compared to SVRG. The balancing in computations are attained by amortizing the full gradient calculation across all iterations. AVRG is also shown analytically to converge linearly.

연구 동기 및 목표

• 랜덤 리샘플링 하에서 분산 감소 확률적 알고리즘의 이론적 수렴 보장을 해결하는 열린 문제를 해결하기 위해.
• 선형 수렴을 유지하면서 저장소를 줄이고 계산 부담을 균형 잡는 새로운 알고리즘 AVRG를 개발하기 위해.
• 균일한 샘플링(반복 포함)에서부터 더 실용적인 랜덤 리샘플링 설정으로 이론적 분석을 확장하기 위해.
• 분산 감소 최적화에서 관찰된 경험적 성능 향상에 대한 공식적 정당성을 제공하기 위해.

제안 방법

• 비 i.i.d. 샘플링 조건 하에서도 SAGA의 수렴을 분석하기 위한 새로운 이론적 프레임워크를 제안하여, 선형 수렴을 증명한다.
• 전체 기울기 계산을 반복 동안 분산하여 계산 비용을 균형 잡고 상수 저장소를 유지하는 AVRG를 도입한다.
• 데이터를 반복 없이 랜덤 리샘플링하는 방식으로 SAGA 프레임워크를 수정하여 일관된 기울기 갱신을 보장한다.
• 필요할 때만 갱신되는 기울기의 누적 평균을 유지하는 분산 감소 메커니즘을 적용하여 메모리 사용량을 줄인다.
• 비균일 샘플링 체계 하에서 확률적 근사 이론을 사용하여 수렴 행동을 분석한다.
• AVRG의 분산 전략이 선형 수렴 속도를 유지하면서도 저장소와 계산 불균형을 최소화함을 보여준다.

실험 결과

연구 질문

• RQ1 SAGA가 랜덤 리샘플링을 사용할 경우 선형 수렴하는가? 만약 그렇다면 어떤 조건에서인가?
• RQ2 랜덤 리샘플링 하에서 선형 수렴을 유지하면서 저장소를 최소화하고 계산 부담을 균형 잡는 분산 감소 알고리즘을 설계할 수 있는가?
• RQ3 분산 감소 방법에서 랜덤 리샘플링의 성능은 균일한 샘플링(반복 포함)과 비교해 이론적으로 어떻게 다를까?
• RQ4 전체 기울기 계산을 분산 전략으로 처리할 경우 수렴성과 메모리 효율성에 어떤 영향을 미치는가?

주요 결과

• 논문은 랜덤 리샘플링 하에서 SAGA에 대한 첫 번째 이론적 선형 수렴 증명을 확립하여 오랫동안 남아있던 열린 문제를 해결한다.
• AVRG가 랜덤 리샘플링 하에서 선형 수렴함을 입증하였으며, SAGA와 동일한 수렴 속도를 유지하면서도 상수 저장소 요구 조건을 충족한다.
• AVRG는 기울기 계산과 저장소 간의 균형 잡힌 트레이드오프를 달성하여 계산 균형에서 SVRG를 능가하고 메모리 효율성에서 SAGA를 능가한다.
• 이론적 분석을 통해 랜덤 리샘플링이 분산 감소 설정에서 균일한 샘플링(반복 포함)보다 더 빠른 수렴을 이끌어낸다는 것이 확인된다.
• AVRG의 분산 전략은 전체 기울기 계산을 반복 간에 균일하게 분배하여 계산 피크를 방지한다.