[논문 리뷰] Less than a Single Pass: Stochastically Controlled Stochastic Gradient Method

Lihua Lei, Michael I. Jordan|arXiv (Cornell University)|2016. 09. 12.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 18

한 줄 요약

이 논문은 저정밀도 문제에서 전체 데이터 세트를 한 번 이상 통과하지 않아도 수렴하는, 변동성 감소 최적화 방법인 확률적 제어를 받는 확률적 경사하강법(Stochastically Controlled Stochastic Gradient, SCSG)을 소개한다. 반복 횟수와 샘플링된 경사하강값을 제어하기 위해 기하분포를 사용함으로써, SCSG는 데이터 크기 n에 대한 선형 의존도를 초월하여 계산 및 통신 비용을 감소시키며, 특히 저정밀도 영역에서 이론적·실제로 SGD를 능가한다.

ABSTRACT

We develop and analyze a procedure for gradient-based optimization that we refer to as stochastically controlled stochastic gradient (SCSG). As a member of the SVRG family of algorithms, SCSG makes use of gradient estimates at two scales, with the number of updates at the faster scale being governed by a geometric random variable. Unlike most existing algorithms in this family, both the computation cost and the communication cost of SCSG do not necessarily scale linearly with the sample size $n$; indeed, these costs are independent of $n$ when the target accuracy is low. An experimental evaluation on real datasets confirms the effectiveness of SCSG.

연구 동기 및 목표

• 계산 및 통신 비용이 데이터셋 크기 n에 선형적으로 의존하는 기존의 SVRG 계열 방법의 비효율성을 해결한다.
• 목표 정밀도 ε가 낮을 때 데이터를 한 번 통과하는 것 이하로 수렴하는 방법을 개발한다.
• 기하분포를 통해 반복 횟수에 대한 확률적 제어를 도입함으로써 계산 및 통신 비용에서 n에 대한 의존도를 감소시킨다.
• SGD가 이론적 보장을 제공하지 못하는 많은 실용적 문제에서 유한하고 작은 범위를 가지는 새로운 문제 난이도 측도 H(f)를 도입한다.
• SGD와 유사한 유리한 수렴 속도를 유지하면서도, 특히 저정밀도 영역에서 상수 항이 크게 향상된 SCSG의 성능을 입증한다.

제안 방법

• 전체 데이터셋 경사하강값 대신 부분 샘플링된 전체 경사하강값 추정치를 사용하는 SVRG의 변종으로 SCSG를 제안한다.
• 기하분포로 분포된 랜덤 변수를 사용해 내부 반복 횟수를 제어함으로써, 높은 확률로 조기 종료가 가능하도록 한다.
• 이중 척도 경사하강 추정: 미니배치에서 얻은 확률적 경사하강값과 부분 샘플링된 전체 경사하강값에서 유도된 제어 변수를 사용한다.
• 유한합 최적화 문제의 본질적 난이도를 기초로 하는 새로운 문제 특화 측도 H(f)를 도입한다.
• 목표 정밀도 ε가 낮을 경우 계산 및 통신 비용이 n과 독립적이게 알고리즘 설계를 한다.
• 이론적 분석 결과, 기대 경사하강 평가 횟수는 O((H(f)/(με) ∧ n + κ) log(Δf/ε))로 표현되며, SGD에서 사용하는 균일한 경사하강값 범위 기준 대신 H(f)가 사용된다.

실험 결과

연구 질문

• RQ1 저정밀도 문제에서 변동성 감소 확률적 최적화 방법이 한 번의 데이터 통과 이하로 수렴할 수 있는가?
• RQ2 유한합 최적화에서 계산 및 통신 비용을 n에 대한 선형 의존도 이하로 낮출 수 있는가?
• RQ3 SGD에서 사용하는 균일한 경사하강값 범위 기준을 대체할 수 있는 새로운 문제 측도는 무엇인가?
• RQ4 반복 횟수에 대한 확률적 제어 메커니즘이 최적화 성능의 이론적·실제적 향상에 기여할 수 있는가?
• RQ5 새로운 난이도 측도 H(f)는 기존 측도와 비교해 어떻게 유한합 문제의 본질적 복잡성을 잘 반영하는가?

주요 결과

• 목표 정밀도 ε가 낮을 경우 SCSG는 전체 데이터 세트를 한 번 통과하지 않아도 수렴함으로써, 대규모 문제에 매우 효율적이다.
• SCSG의 기대 계산 비용은 O((H(f)/(με) ∧ n + κ) log(Δf/ε))로 표현되며, ε이 낮을 경우 n에 대해 하향선형이 되어 기존의 SVRG나 SGD와는 다릅니다.
• 알고리즘의 수렴 속도는 H(f)에 의존하며, 이는 많은 실용적 문제(예: 최소제곱, 로지스틱 회귀)에서 O(1)이 되는 새로운 유한 측도이다. 반면 SGD에서는 균일한 경사하강값 범위 기준이 무한대일 수 있다.
• 다중 클래스 로지스틱 회귀의 경우, H(f) ≤ (2/n)∑‖ai‖²임을 증명함으로써, 표준 가정 하에 여전히 유한하고 작은 값으로 유지됨을 보였다.
• 실제 데이터셋에 대한 실험 결과, SCSG는 수렴 속도 및 통신 효율성 측면에서 SGD 및 기타 SVRG 변종보다 뛰어나다는 것을 확인하였다.
• 이론적 분석 결과, SCSG는 저정밀도 영역에서 SGD보다 항상 열등하지 않으며, H(f) 측도 덕분에 상수 항이 크게 향상되어 뛰어난 성능을 발휘할 수 있다.