[논문 리뷰] Trading-off variance and complexity in stochastic gradient descent

Vatsal Shah, Megasthenis Asteris외 2명|arXiv (Cornell University)|2016. 03. 22.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 8

한 줄 요약

이 논문은 SVRG의 전경계 계산을 작은 데이터 부분집합에서 추정한 계산적으로 더 저렴한 대체 경사도로 대체하는 스위치 변동성 감소 최적화 방법인 CheapSVRG를 제안한다. 반복 복잡도를 수렴 속도와의 교환으로 인해, CheapSVRG는 문제에 따라 결정되는 오차 바닥까지 선형 수렴를 달성하며, 일반적인 SGD를 능가하고 SVRG와 경쟁하면서도 에포크당 계산 비용을 감소시킨다.

ABSTRACT

Stochastic gradient descent is the method of choice for large-scale machine learning problems, by virtue of its light complexity per iteration. However, it lags behind its non-stochastic counterparts with respect to the convergence rate, due to high variance introduced by the stochastic updates. The popular Stochastic Variance-Reduced Gradient (SVRG) method mitigates this shortcoming, introducing a new update rule which requires infrequent passes over the entire input dataset to compute the full-gradient. In this work, we propose CheapSVRG, a stochastic variance-reduction optimization scheme. Our algorithm is similar to SVRG but instead of the full gradient, it uses a surrogate which can be efficiently computed on a small subset of the input data. It achieves a linear convergence rate ---up to some error level, depending on the nature of the optimization problem---and features a trade-off between the computational complexity and the convergence rate. Empirical evaluation shows that CheapSVRG performs at least competitively compared to the state of the art.

연구 동기 및 목표

• 대규모 머신러닝을 위한 변동성 감소 방법인 SVRG에서 전경계 계산의 높은 반복 비용을 해결하기 위해.
• 전체 경사도를 효율적인 대체 경사도로 대체함으로써 계산 복잡도와 수렴 속도의 균형을 잡는 스위치 최적화 기법을 설계하기 위해.
• glat, 볼록, 분리 가능한 최적화 문제에서 선형 수렴에 대한 이론적 보장을 제공하기 위해.
• 최신 기법들과 비교해 계산 오버헤드를 줄이고도 경쟁 가능한 성능을 달성함을 경험적으로 검증하기 위해.

제안 방법

• CheapSVRG는 SVRG와 유사하게 최적화를 에포크 단위로 나누지만, 각 에포크의 시작에서 고정된 크기의 작은 데이터 부분집합을 사용해 대체 전경계 경사도를 계산한다.
• 각 에포크 내에서, 개별 데이터 포인트의 스위치 경사도와 대체 경사도를 조합한 수정된 업데이트 규칙을 사용해 스위치 경사도 스텝을 수행한다.
• 외부(대체) 루프와 내부(스위치) 루프 사이의 경사도 계산 예산 할당을 제어하는 조정 가능한 파라미터 'perc'를 도입한다.
• 대체 경사도는 크기가 s인 무작위 부분집합의 경사도 평균으로 계산되어, 전체 경사도 추정의 비용을 O(n)에서 O(s)로 감소시킨다.
• 대체 경사도가 진정한 전체 경사도의 편향된 그러나 제어된 추정치임을 보장함으로써 수렴 보장을 유지한다.
• 개별 함수의 리프시츠 상수에 기반해 단계 크기를 적응적으로 설정하며, SVRG 및 유사 방법에서 관행된 방식을 따르고 있다.

실험 결과

연구 질문

• RQ1 작은 데이터 부분집합에서 계산한 대체 경사도가 SVRG에서 전체 경사도를 대체할 수 있으며 선형 수렴를 유지할 수 있는가?
• RQ2 대체 경사도 크기와 수렴 속도 사이의 트레이드오프가 변동성 감소 스위치 최적화의 성능에 어떤 영향을 미치는가?
• RQ3 CheapSVRG는 계산 오버헤드를 줄이고도 일반적인 SGD보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ4 CheapSVRG는 대체 경사도 크기와 외부 및 내부 루프 사이의 예산 할당에 얼마나 민감한가?
• RQ5 대규모 환경에서 CheapSVRG는 상당히 감소된 계산 비용으로 SVRG와 유사한 성능을 달성할 수 있는가?

주요 결과

• CheapSVRG는 문제 구조와 대체 경사도의 품질에 따라 최적해의 일정한 이웃 영역까지 기대값 기반 선형 수렴를 달성한다.
• 경험적 결과에 따르면, 합성 및 실세계 데이터셋(선형 회귀 및 ℓ₂-정규화 로지스틱 회귀 포함)에서 CheapSVRG는 SVRG와 최소한 동일한 성능을 보였다.
• ℓ₂-정규화 로지스틱 회귀의 경우, s=1 또는 s=10으로 설정한 CheapSVRG는 최소한의 대체 계산으로도 해에 지속적으로 접근하는 진전을 보였으며, 에포크당 복잡도를 감소시켰다.
• 이 방법은 예산 할당 파라미터 'perc'에 민감하다. 내부 루프에 90%의 예산을 할당할 경우, CheapSVRG는 SVRG와 달리 발산한다.
• 노이즈가 없는 경우와 낮은 노이즈 환경에서는 CheapSVRG가 일반적인 SGD보다 더 빠르게 수렴하며, 에포크당 계산 비용이 더 낮아도 SVRG 성능을 따라하거나 능가한다.
• 대체 경사도가 편향된 추정치일지라도 알고리즘이 수렴을 유지함으로써, 경사도 대체의 근사 오차에 대한 강건성을 입증했다.