[논문 리뷰] On Projected Stochastic Gradient Descent Algorithm with Weighted Averaging for Least Squares Regression

Kobi Cohen, Angelia Nedić외 1명|arXiv (Cornell University)|2016. 06. 09.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 감소하는 스텝 사이즈와 반복값의 가중 평균을 사용하여 최소 제곱 회귀 문제에 대해 투영된 확률적 경사 하강법 알고리즘(PSGD-WA)을 제안한다. 이는 수렴성을 향상시키기 위한 것이다. 유한 표본 오차 한계를 제공하며, 수렴 속도가 O(1/k)임을 보이며, 분산 항이 1/k 비율로 감소하고 제약 집합 항은 log k / k² 비율로 감소함을 보여주며, 점근적 수렴 비율 ρ ≤ 4 (d ≥ 1) 및 ρ ≤ 4/3 (d = 1)임을 증명한다.

ABSTRACT

The problem of least squares regression of a $d$-dimensional unknown parameter is considered. A stochastic gradient descent based algorithm with weighted iterate-averaging that uses a single pass over the data is studied and its convergence rate is analyzed. We first consider a bounded constraint set of the unknown parameter. Under some standard regularity assumptions, we provide an explicit $O(1/k)$ upper bound on the convergence rate, depending on the variance (due to the additive noise in the measurements) and the size of the constraint set. We show that the variance term dominates the error and decreases with rate $1/k$, while the term which is related to the size of the constraint set decreases with rate $\log k/k^2$. We then compare the asymptotic ratio $ρ$ between the convergence rate of the proposed scheme and the empirical risk minimizer (ERM) as the number of iterations approaches infinity. We show that $ρ\leq 4$ under some mild conditions for all $d\geq 1$. We further improve the upper bound by showing that $ρ\leq 4/3$ for the case of $d=1$ and unbounded parameter set. Simulation results demonstrate strong performance of the algorithm as compared to existing methods, and coincide with $ρ\leq 4/3$ even for large $d$ in practice.

연구 동기 및 목표

• 대규모 또는 스트리밍 데이터에서 계산 자원 제약 조건 하에 효율적인 최소 제곱 회귀 문제를 해결하는 데 도전한다.
• 일정한 스텝 사이즈가 필요로 하거나 수렴 속도가 느릴 수 있는 표준 SGD의 한계를 극복한다.
• 투영된 SGD와 반복값의 가중 평균을 조합하여 수렴 속도를 가속화함으로써 유한 표본 성능을 향상시킨다.
• 제안된 알고리즘과 경험적 위험 최소화자(ERM) 간의 수렴 속도 및 점근적 비율 ρ를 분석하며, 특히 고차원 설정에서의 성능을 고려한다.
• 측정 노이즈의 분산과 제약 집합 크기 간의 상호 작용을 명시적으로 정량화하는 유한 표본 오차 한계를 제공한다.

제안 방법

• 단일 데이터 루프를 사용하는 반복값의 가중 평균을 포함한 투영된 확률적 경사 하강법 알고리즘(PSGD-WA)을 제안한다.
• c/(k + γ) 형태의 감소하는 스텝 사이즈를 사용하며, 여기서 c > 0 및 γ ≥ 1은 조정 가능한 파라미터이다.
• 스텝 사이즈 비례로 이전 반복값의 가중 평균을 계산하여 최근 추정치에 더 큰 영향을 주도록 한다.
• 안정성과 수렴성을 확보하기 위해 유계이고 볼록인 제약 집합 Ω ⊆ ℝ^d 위에 투영을 적용한다.
• 오차를 분산 항과 편향 항으로 분해하여 분석하며, 분산 항은 측정 노이즈에 의존하고, 편향 항은 Ω의 지름에 의존한다.
• 스토하스틱 근사 이론과 농도 부등식을 활용하여 기대 오차에 대한 유한 표본 한계를 유도한다.

실험 결과

연구 질문

• RQ1 제안된 PSGD-WA 알고리즘의 최소 제곱 회귀 문제에 대한 유한 표본 수렴 속도는 무엇인가?
• RQ2 오차 분해에서 분산 항과 제약 집합 관련 항이 시간이 지남에 따라 어떻게 행동하는가?
• RQ3 반복 수가 무한히 증가할 때 PSGD-WA와 경험적 위험 최소화자(ERM) 간의 점근적 비율 ρ는 무엇인가?
• RQ4 기존의 SGD 변종과의 평균화 기법을 고려할 때, PSGD-WA의 유한 표본 정확도는 어떻게 비교되는가?
• RQ5 수렴 비율 ρ는 차원 d에 관계없이 유계로 유지될 수 있으며, d = 1일 경우 어떻게 행동하는가?

주요 결과

• 제안된 PSGD-WA 알고리즘은 O(1/k) 수렴 속도를 가지는 유한 표본 오차 한계를 달성한다.
• 오차의 분산 항은 1/k 비율로 감소하고, 제약 집합의 지름과 관련된 항은 log k / k² 비율로 감소한다.
• PSGD-WA와 ERM 간의 점근적 수렴 비율 ρ는 온건한 조건 하에 모든 d ≥ 1에 대해 ρ ≤ 4임을 만족한다.
• d = 1의 특수한 경우이면서 매개수 집합이 유계가 아닌 경우, 상한선이 ρ ≤ 4/3로 향상된다.
• 시뮬레이션 결과는 강력한 경험적 성능을 확인하며, 큰 d에 대해서도 ρ ≤ 4/3가 관찰되어 실용적 안정성을 보여준다.
• 기하급수적으로 증가하는 배치 크기나 작은 초기 스텝 사이즈가 필요로 하지 않아, 비점근적 영역에서도 적합하다.