[논문 리뷰] Constant Step Size Least-Mean-Square: Bias-Variance Trade-offs and Optimal Sampling Distributions

Alexandre Défossez, Francis Bach|arXiv (Cornell University)|2014. 11. 29.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 9

한 줄 요약

이 논문은 최소제곱 회귀를 위한 평균화된 일정 단계 크기의 확률적 경사 하강법(이하 LMS)에 대한 정련된 渐近 분석을 제공하며, 일반화 오차를 편향과 분산 항으로 분해한다. 이는 분산이 단계 크기와 무관하게 $O(1/n)$로 감소하는 반면, 편향은 $O(1/\gamma^2 n^2)$로 감소함을 보여주며, 일반화 오차에서 편향이 지배할 경우 비균일 샘플링이 유의미한 성능 향상을 이끌어내어 더 큰 단계 크기와 더 빠른 수렴을 가능하게 한다.

ABSTRACT

We consider the least-squares regression problem and provide a detailed asymptotic analysis of the performance of averaged constant-step-size stochastic gradient descent (a.k.a. least-mean-squares). In the strongly-convex case, we provide an asymptotic expansion up to explicit exponentially decaying terms. Our analysis leads to new insights into stochastic approximation algorithms: (a) it gives a tighter bound on the allowed step-size; (b) the generalization error may be divided into a variance term which is decaying as O(1/n), independently of the step-size $γ$, and a bias term that decays as O(1/$γ$ 2 n 2); (c) when allowing non-uniform sampling, the choice of a good sampling density depends on whether the variance or bias terms dominate. In particular, when the variance term dominates, optimal sampling densities do not lead to much gain, while when the bias term dominates, we can choose larger step-sizes that leads to significant improvements.

연구 동기 및 목표

• 최소제곱 회귀에 대한 평균화된 일정 단계 크기의 확률적 경사 하강법에서의 일반화 오차에 대한 정밀한 渐近 특성 분석을 제공하는 것.
• 특히 유한 표본 및 고차원 환경에서 LMS의 수렴 행동에 영향을 미치는 편향과 분산의 역할을 명확히 하는 것.
• 편향 또는 분산이 오차에서 지배적인지에 따라 비균일 샘플링 분포를 어떻게 최적화할 수 있는지 탐구하는 것.
• 일정 단계 크기 SGD에서 허용 가능한 단계 크기의 더 날카운 경계를 유도하여 실용적 수렴 보장을 향상시키는 것.
• 샘플링 분포 설계에 있어 상한 근사치에 의존하는 대신, 오차 전개의 1차 항을 최적화하는 것.

제안 방법

• 지수적으로 감소하는 항까지 포함된 기대 일반화 오차의 渐近 전개를 유도하며, 편향과 분산 기여를 분리한다.
• 편향 항이 단계 크기 $\gamma$ 에 따라 의존하는 $O(1/\gamma^2 n^2)$ 로 감소하고, 분산 항이 $\gamma$ 와 무관하게 $O(1/n)$ 로 감소함을 분석한다.
• 행렬 섭동 이론을 사용하여 초기 조건에 의해 유도되는 성분(편향)과 데이터의 노이즈에 의해 유도되는 성분(분산)으로 오차를 분해한다.
• 행렬 전달 함수와 해소브턴트 분석을 사용하여 가중치 벡터와 그 평균의 진동을 모델링하며, $H = \mathbb{E}[XX^T]$ 와 $T = H_L + H_R$ 의 영향을 통합한다.
• 행렬 시스템의 프로베니우스 노름과 스펙트럼 반경 $\rho$ 를 사용하여 잔차 오차 항의 경계를 도출하여 고차항의 지수적 감소를 보장한다.
• 편향과 분산의 상대적 지배 정도를 분석하여 샘플링 분포를 최적화한다: 최적의 샘플링은 편향이 지배할 경우에 가장 효과적이며, 이 경우 더 큰 $\gamma$ 를 허용할 수 있다.

실험 결과

연구 질문

• RQ1 일정 단계 크기의 LMS에서 일반화 오차의 편향과 분산 성분은 반복 수 $n$ 과 단계 크기 $\gamma$ 에 따라 어떻게 척도가 변하는가?
• RQ2 지수적으로 감소하는 수정 항까지 포함된 평균화된 일정 단계 크기 SGD의 정밀한 渐近 행동은 어떠한가?
• RQ3 渐近 오차 전개로부터 허용 가능한 최대 단계 크기 $\gamma$ 에 대한 더 날카운 경계를 도출할 수 있는가?
• RQ4 비균일 샘플링이 수렴 속도 향상에 유의미한 기여를 하는 조건은 무엇인가?
• RQ5 편향 또는 분산이 지배할 경우, 오차를 최적으로 감소시키기 위해 샘플링 분포는 어떻게 설계되어야 하는가?

주요 결과

• 평균화된 일정 단계 크기 SGD의 일반화 오차는 단계 크기 $\gamma$ 와 무관하게 감소하는 분산 항 $O(1/n)$ 과 단계 크기 $\gamma$ 에 따라 의존하는 편향 항 $O(1/\gamma^2 n^2)$ 으로 분해된다.
• 단계 크기 $\gamma$ 가 클 경우 편향 항이 지배하게 되며, 이 경우 비균일 샘플링을 통해 더 큰 $\gamma$ 를 사용하면서도 오차가 증가하지 않도록 함으로써 상당한 성능 향상을 이룰 수 있다.
• 분산이 지배할 경우 최적의 샘플링 분포는 제한된 성능 향상을 제공한다. 왜냐하면 오차가 이미 $O(1/n)$ 감소율을 보이며 샘플링 전략과 무관하기 때문이다.
• 안정성을 확보하기 위해 $\gamma < 2/\mu$ 가 필수적임을 보여주는 더 날카운 단계 크기 $\gamma$ 의 최대 허용 경계를 도출하였다. 이 경계에 가까운 $\gamma$ 를 사용할 경우 수렴 속도가 향상된다.
• 1차 渐近 오차 항은 $\frac{1}{n}(H_L^{-1} + H_R^{-1} - \gamma I)T^{-1}\Sigma_0$ 로 명시적으로 특성화되며, 이는 데이터 공분산과 노이즈 구조에 의존한다.
• 오차 전개의 지수적으로 감소하는 수정 항들은 스펙트럼 노름과 스펙트럼 반경 $\rho$ 를 사용하여 경계지어지며, 이는 중간 크기의 $n$ 에서도 渐近 근사의 정확성을 보장한다.