[논문 리뷰] SVRG meets SAGA: k-SVRG - A Tale of Limited Memory.

Anant Raj, Sebastian U. Stich|arXiv (Cornell University)|2018. 05. 02.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 SVRG와 SAGA 사이를 조율함으로써 메모리 사용량과 계산 효율성을 균형 잡는 변동성 감소 확률적 최적화 알고리즘인 k-SVRG를 소개한다. 강凸 문제에서는 선형 수렴를 달성하고, 비凸 문제에서는 전체 데이터 통과나 전체 기울기 역사 저장이 필요 없이 정류점으로 수렴한다.

ABSTRACT

In recent years, many variance reduced algorithms for empirical risk minimization have been introduced. In contrast to vanilla SGD, these methods converge linearly on strong convex problems. To obtain the variance reduction, current methods either require frequent passes over the full data to recompute gradients---without making any progress during this time (like in SVRG), or they require memory of the same size as the input problem (like SAGA). In this work, we propose k-SVRG, an algorithm that interpolates between those two extremes: it makes best use of the available memory and in turn does avoid full passes over the data without making progress. We prove linear convergence of k-SVRG on strongly convex problems and convergence to stationary points on non-convex problems. Numerical experiments show the effectiveness of our method.

연구 동기 및 목표

• 변동성 감소 확률적 최적화에서 메모리 사용량과 계산 효율성 간의 상충 관계를 해결하기 위해.
• SVRG에서 기울기 재계산 시 전체 데이터 통과가 필요 없도록 하여 진행을 늦추는 문제를 제거하기 위해.
• 모든 데이터 포인트의 기울기를 저장하는 SAGA보다 메모리 요구량을 줄이기 위해.
• 사용 가능한 메모리에 맞게 적응하면서도 빠른 수렴을 유지하는 알고리즘을 설계하기 위해.
• 강凸 문제에서는 선형 수렴를 달성하고, 비凸 문제에서는 정류점으로 수렴하기 위해.

제안 방법

• k-SVRG는 과거 기울기의 부분집합만 저장하는 k단계 메모리 메커니즘을 도입하여 SAGA보다 메모리 사용량을 줄인다.
• 기본적으로 SVRG와 유사한 제어 변수 전략을 사용하지만, 전체 통과보다 빈도가 낮게 기준 기울기를 업데이트한다.
• 알고리즘은 크기가 k인 슬라이딩 윈도우를 기반으로 기울기의 누적 평균을 유지하여 변동성 감소와 메모리 비용을 균형 잡는다.
• 현재 반복값과 데이터 샘플링에 따라 어떤 기울기를 저장하고 업데이트할지 동적으로 선택한다.
• 부분 기울기 역사 정보를 활용함으로써 SVRG의 낮은 메모리 프로필과 SAGA의 더 빠른 수렴을 융합한다.
• 이론적 분석을 통해 k-메모리 프레임워크를 사용하여 강凸 및 비凸 설정 모두에서 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 전체 데이터 통과가 필요 없으면서 SAGA보다 메모리 사용량을 줄이는 변동성 감소 최적화기를 설계할 수 있는가?
• RQ2 과거 k개의 기울기로 메모리를 제한할 경우 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ3 제한된 메모리 조건에서도 k-SVRG가 강凸 문제에서 선형 수렴를 달성할 수 있는가?
• RQ4 k-SVRG는 비凸 문제에서도 정류점으로 수렴하는가?
• RQ5 실제로 k-SVRG는 메모리 사용량과 수렴 속도 측면에서 SVRG와 SAGA보다 어떻게 비교되는가?

주요 결과

• k-SVRG는 강凸 문제에서 선형 수렴를 달성하여 이론적 수렴 속도가 SVRG와 SAGA와 일치한다.
• 알고리즘은 비凸 문제에서도 정류점으로 수렴하여 강凸 설정을 넘어서 적용 가능성을 넓힌다.
• 메모리를 k개의 기울기로 제한함으로써 k-SVRG는 전체 데이터 통과를 피하여 SVRG보다 더 적은 무작위 계산 시간을 갖는다.
• 수치 실험을 통해 k-SVRG가 메모리 제약 조건 하에서 SVRG와 SAGA보다 수렴 속도가 빠름을 입증한다.
• 이 방법은 메모리 사용량과 수렴 속도를 효과적으로 균형 잡아 제한된 자원으로 대규모 최적화에 적합하다.
• 이론적 분석을 통해 k-SVRG가 강凸 및 비凸 설정 모두에서 수렴 보장을 유지함을 확인한다.