[논문 리뷰] On Scalable Inference with Stochastic Gradient Descent

Yixin Fang, Jinfeng Xu외 1명|arXiv (Cornell University)|2017. 07. 01.

Stochastic Gradient Optimization Techniques참고 문헌 5인용 수 5

한 줄 요약

이 논문은 대규모 데이터 세트를 위한 확률적 경사 하강법(SGD)에서 통계적 추론을 위한 확장 가능하고 편향 기반 재표본화 방법을 제안한다. 이 방법은 구간 추정과 신뢰 영역 구축을 가능하게 하며, 행렬 역행렬 계산이나 전체 데이터 세트에서의 재표본화가 필요로 하지 않아 온라인 및 대용량 데이터 환경에 적합하다. 이는 주어진 데이터 포인트마다 SGD 추정치와 수많은 독립적인 편향이 가미된 추정치를 순차적으로 갱신함으로써 점 渐진적으로 타당한 추론을 달성한다.

ABSTRACT

In many applications involving large dataset or online updating, stochastic gradient descent (SGD) provides a scalable way to compute parameter estimates and has gained increasing popularity due to its numerical convenience and memory efficiency. While the asymptotic properties of SGD-based estimators have been established decades ago, statistical inference such as interval estimation remains much unexplored. The traditional resampling method such as the bootstrap is not computationally feasible since it requires to repeatedly draw independent samples from the entire dataset. The plug-in method is not applicable when there are no explicit formulas for the covariance matrix of the estimator. In this paper, we propose a scalable inferential procedure for stochastic gradient descent, which, upon the arrival of each observation, updates the SGD estimate as well as a large number of randomly perturbed SGD estimates. The proposed method is easy to implement in practice. We establish its theoretical properties for a general class of models that includes generalized linear models and quantile regression models as special cases. The finite-sample performance and numerical utility is evaluated by simulation studies and two real data applications.

연구 동기 및 목표

• 대규모 및 온라인 데이터 환경에서 확률적 경사 하강법(SGD) 추정치에 대한 확장 가능한 통계적 추론 방법의 부족을 해결하기 위해.
• 전체 데이터에서의 재표본화 또는 명시적 공분산 행렬 계산이 필요한 전통적 부트스트랩 및 플러그인 방법의 계산 비용이 과도하여 실행이 불가능한 문제를 해결하기 위해.
• SGD 기반 매개변수 추정치에 대한 신뢰구간과 영역을 구성하기 위한 계산 비용이 저렴하고 온라인 환경에서 호환 가능한 절차를 개발하기 위해.
• 일반적인 M-추정 프레임워크(예: 일반선형모형 및 분위수 회귀) 하에서 제안된 편향 기반 재표본화 방법의 점차적 타당성을 이론적으로 입증하기 위해.
• 시뮬레이션과 실제 데이터 응용을 통해 방법의 유한 표본 성능와 실용성을 입증하기 위해.

제안 방법

• 이 방법은 각 새로운 관측치가 도착할 때마다 주요 SGD 추정치와 수많은 독립적인 편향이 가미된 SGD 추정치를 순차적으로 갱신하는 편향-재표본화 기반의 절차를 도입한다.
• 편향는 동일한 분포를 따르는 독립적인 난수(예: 라데마처 또는 가우시안)를 기울기 갱신에 적용하여 생성되며, 이는 편향된 추정치의 분포를 형성한다.
• 편향된 추정치의 경험적 분포를 사용하여 SGD 추정치의 표본 분포를 근사함으로써, 구간 추정과 신뢰 영역 구축이 가능해진다.
• 이 방법은 다음과 같은 순차적 갱신 규칙에 기반한다: $\widehat{\theta}^{*}_{n} = \widehat{\theta}^{*}_{n-1} - \gamma_{n} W_{n} \nabla l(\widehat{\theta}^{*}_{n-1}; Z_{n})$, 여기서 $W_n$은 무작위 편향이다.
• 이론적 근거는 마팅게일 차분 과정과 점차적 정규성에 기반하며, 편향된 평균 $\overline{\theta}^{*}_{n}$ 이 참 매개변수 중심의 정규분포로 수렴함을 보여준다.
• 이 방법은 명시적 행렬 역행렬 계산이 필요로 하지 않으며 전체 데이터 세트를 저장할 필요도 없어 스트리밍 데이터 및 메모리 제약 환경에 적합하다.

실험 결과

연구 질문

• RQ1 전체 데이터 재표본화에 의존하지 않고, 전체 데이터 재표본화 없이도 확장 가능하고 온라인 환경에서 호환 가능한 방법을 개발할 수 있는가? (예: 신뢰구간 등 통계적 추론을 위한).
• RQ2 기존의 부트스트랩 방법이 계산적으로 비현실적인 고차원 또는 대규모 설정에서 SGD 추정치의 점차적 분포를 어떻게 안정적으로 근사할 수 있는가?
• RQ3 편향 기반 재표본화 접근법이 일반선형모형 및 분위수 회귀 모형의 SGD 추정치에 대해 타당한 신뢰 영역을 제공하는가?
• RQ4 분산 추정 정확도와 계산 효율성 측면에서 기존의 배치 평균(Batch-means) 방법과 비교해 볼 때, 제안된 방법은 어떠한가?
• RQ5 복잡한 의존성 구조를 가진 실제 데이터 응용에서, 이 방법은 좋은 유한 표본 성능을 유지할 수 있는가?

주요 결과

• 제안된 편향 기반 재표본화 방법은 일반적인 M-추정 프레임워크(예: 일반선형모형 및 분위수 회귀) 하에서 SGD 추정치에 대해 점차적 타당한 추론을 제공한다.
• 이 방법은 편향된 평균 추정치 $\overline{\theta}^{*}_{n}$ 이 참 매개변수 $\theta_0$ 를 중심으로 하며 공분산 $A^{-1}SA^{-1}$ 를 가지는 정규분포로 수렴함을 보여 이론적으로 타당성을 확보한다. 이는 진정한 SGD 추정치의 점차적 분포와 일치한다.
• 유한 표본 시뮬레이션 결과, 이 방법은 신뢰구간에 대해 정확한 커버리지 확률을 제공하며, 분산을 체계적으로 과소평가하는 배치 평균 방법보다 우수한 성능을 보였다.
• 이 방법은 계산적으로 효율적이며 전체 데이터 세트를 저장할 필요가 없어 온라인 및 스트리밍 데이터 응용에 적합하다.
• 실제 데이터 응용을 통해 이 방법이 대규모 회귀 모형에서 신뢰성 있는 신뢰 영역을 구성하는 데 실용적인 유용성을 확인하였다.
• 이론적 분석을 통해 편향에 의해 유도된 오차 항이 점차적으로 사라짐을 확인하여, 재표본화 분포의 일致성과 점차적 정규성을 보장하였다.