[논문 리뷰] Statistical Inference for Model Parameters in Stochastic Gradient Descent

Xi Chen, Jason D. Lee외 2명|arXiv (Cornell University)|2016. 10. 27.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 31

한 줄 요약

이 논문은 평균 반복값에 대한 점점 증가하는 공분산 행렬의 일致한 추정량을 구성함으로써, 확률적 경사 하강법(SGD)에서 통계적 추론을 계산적으로 효율적으로 수행하는 방법을 제안한다. 플러그인 추정량과 배치 평균 추정량을 도입하여 데이터 저장 없이 渐近적으로 타당한 신뢰구간과 가설 검정을 가능하게 하며, 또한 고차원 선형 회귀에서 점점 증가하는 정규 분포를 가진 계수 추정량을 갖는 비편향화된 SGD 변형을 추가로 개발한다.

ABSTRACT

The stochastic gradient descent (SGD) algorithm has been widely used in statistical estimation for large-scale data due to its computational and memory efficiency. While most existing works focus on the convergence of the objective function or the error of the obtained solution, we investigate the problem of statistical inference of true model parameters based on SGD when the population loss function is strongly convex and satisfies certain smoothness conditions. Our main contributions are two-fold. First, in the fixed dimension setup, we propose two consistent estimators of the asymptotic covariance of the average iterate from SGD: (1) a plug-in estimator, and (2) a batch-means estimator, which is computationally more efficient and only uses the iterates from SGD. Both proposed estimators allow us to construct asymptotically exact confidence intervals and hypothesis tests. Second, for high-dimensional linear regression, using a variant of the SGD algorithm, we construct a debiased estimator of each regression coefficient that is asymptotically normal. This gives a one-pass algorithm for computing both the sparse regression coefficients and confidence intervals, which is computationally attractive and applicable to online data.

연구 동기 및 목표

• 확률적 경사 하강법(SGD)을 통해 추정된 모델 파라미터에 대한 통계적 추론—특히 신뢰구간과 가설 검정—을 가능하게 하기 위해.
• 특히 고차원 또는 스트리밍 환경에서 SGD 반복값의 점점 증가하는 공분산 행렬을 추정하기 위한 온라인이고 계산적으로 효율적인 방법의 부족을 해결하기 위해.
• 스parser 계수와 그들의 신뢰구간을 동시에 추정할 수 있는 일회성 알고리즘을 고차원 선형 회귀에 대해 개발하기 위해.
• 모든 이력 데이터나 기울기 저장을 요구하지 않고도 제안된 추론 방법이 일致하고 점점 증가적으로 타당한지 보장하기 위해.

제안 방법

• 온라인 SGD 반복값에서 유도된 임계값을 적용한 헤시안 추정량 eAn과 기울기 노이즈의 표본 공분산 추정량 Sn을 구성함으로써, 점점 증가하는 공분산 행렬 A⁻¹SA⁻¹에 대한 플러그인 추정량을 제안한다.
• 모든 데이터나 기울기의 저장이 필요 없이 SGD 반복값의 순서만을 사용하여 공분산 추정량을 계산하는 배치 평균 추정량을 도입한다.
• 정밀도 행렬 추정량을 기반으로 한 보정 항을 SGD 업데이트에 수정하여 고차원 선형 회귀 계수의 비편향 추정량을 개발하며, 점점 증가하는 정규 분포를 달성한다.
• 반복값의 안정성과 정규 분포 수렴을 보장하기 위해 Polyak-Ruppert 평균화(ASGD)를 사용한다.
• 특히 희소성 가정 하에서 고차원 설정에서 추정 오차를 제어하기 위해 임계값 처리와 농도 부등식을 활용한다.
• 강한 볼록성, 리프시츠 기울기 조건, 서브-가우시안 노이즈 조건 하에서 이론적 일치성 및 점점 증가하는 정규성 결과를 도출한다.

실험 결과

연구 질문

• RQ1 모든 데이터 세트를 저장하지 않고도 SGD로 추정된 모델 파라미터에 대해 점점 증가적으로 타당한 신뢰구간을 구성할 수 있는가?
• RQ2 온라인이고 메모리 효율적인 방식으로 평균 SGD 반복값의 점점 증가하는 공분산 행렬을 어떻게 추정할 수 있는가?
• RQ3 희소성 조건 하에서 고차원 선형 회귀에서 SGD를 확장하여 개별 계수의 신뢰구간을 포함한 타당한 추론을 제공할 수 있는가?
• RQ4 비편향화된 SGD 추정량이 점점 증가적으로 정규분포이자 일치하는 데 필요한 이론적 조건은 무엇인가?
• RQ5 제안된 추정량(플러그인 및 배치 평균)의 유한 표본 성능과 계산 효율성은 어떻게 비교되는가?

주요 결과

• 플러그인 추정량과 배치 평균 추정량은 모두 점점 증가하는 공분산 행렬 A⁻¹SA⁻¹에 대해 일치하며, 점점 증가적으로 정확한 신뢰구간과 가설 검정을 가능하게 한다.
• 배치 평균 추정량은 플러그인 추정량보다 계산적으로 더 효율적이며, 헤시안 행렬의 계산이나 모든 반복값의 저장이 필요 없다.
• 고차원 선형 회귀에서 제안된 비편향화된 SGD 추정량은 점점 증가하는 정규분포를 달성하며, 스퍼스 계수와 그들의 신뢰구간을 일회성 계산으로 동시에 제공할 수 있다.
• 시뮬레이션 결과, 다양한 설계 조건 하에서도 신뢰구간의 커버리지 비율이 명목 수준(예: 95%)에 매우 가까운 것으로 나타났으며, 중간 정도의 상관관계(r=0.6)와 고차원성 조건에서도 안정성을 유지한다.
• 신뢰구간의 평균 길이는 상관관계와 차원 증가에 따라 증가하지만, 오라클 길이에 매우 가까워 유한 표본 성능이 양호함을 시사한다.
• 디자인 행렬 공분산의 최소 고유값 감소에 대해서도 방법들이 강건함을 보였으며, 토피츠 및 동일 상관 구조에서 검증되었다.