[논문 리뷰] Stochastic gradient descent methods for estimation with large data sets

Dustin Tran, Panos Toulis외 1명|arXiv (Cornell University)|2015. 09. 22.

Stochastic Gradient Optimization Techniques참고 문헌 61인용 수 9

한 줄 요약

이 논문은 수치적으로 안정적이고 수축 기반 업데이트를 사용하여 발산을 방지하는, 대규모 및 스트리밍 데이터 환경에서의 매개변수 추정을 위한 암묵적 확률적 경사하강법(ia-sgd)을 제안한다. 이 방법은 특히 고차원 및 노이즈가 많은 환경에서 명시적 sgd보다 뛰어난 계산 효율성과 강건성을 보이며, 일반선형모형과 M-추정법에 대한 실증적 검증을 통해 입증된다.

ABSTRACT

We develop methods for parameter estimation in settings with large-scale data sets, where traditional methods are no longer tenable. Our methods rely on stochastic approximations, which are computationally efficient as they maintain one iterate as a parameter estimate, and successively update that iterate based on a single data point. When the update is based on a noisy gradient, the stochastic approximation is known as standard stochastic gradient descent, which has been fundamental in modern applications with large data sets. Additionally, our methods are numerically stable because they employ implicit updates of the iterates. Intuitively, an implicit update is a shrinked version of a standard one, where the shrinkage factor depends on the observed Fisher information at the corresponding data point. This shrinkage prevents numerical divergence of the iterates, which can be caused either by excess noise or outliers. Our sgd package in R offers the most extensive and robust implementation of stochastic gradient descent methods. We demonstrate that sgd dominates alternative software in runtime for several estimation problems with massive data sets. Our applications include the wide class of generalized linear models as well as M-estimation for robust regression.

연구 동기 및 목표

• 수백만 건이 넘는 관측치를 포함하는 대규모 데이터 환경에서 피셔 스코링과 EM과 같은 전통적 추정 방법의 계산 비용이 지나치게 높아지는 문제를 해결한다.
• 노이즈가 많은 기울기, 이상치 또는 나쁜 학습률 설정으로 인해 발생하는 명시적 확률적 경사하강법의 수치적 불안정성을 극복한다.
• 통계적 최적성과 계산 효율성을 유지하면서 스트리밍 및 대규모 데이터에 적합한 이론적으로 탄탄한 수치적 안정성 있는 방법을 개발한다.
• 통계 및 기계학습 응용 분야에서 널리 쓰일 수 있도록 sgd 패키지를 통한 종합적인 R 구현을 제공한다.
• 암묵적 업데이트가 발산을 방지하고 초기 정지나 기울기 클리핑과 같은 히وري스틱 튜닝에 의존도를 줄이는 데서 어떤 정도의 우월성을 보이는지 입증한다.

제안 방법

• 각 데이터 포인트에서 관측된 피셔 정보에 따라 의존하는 수축 인자에 기반해 업데이트가 암묵적으로 정의되는 암묵적 확률적 경사하강법(ia-sgd)을 제안한다.
• 암묵적 업데이트 식을 사용한다: $\mathbf{\theta}_n = \mathbf{\theta}_{n-1} + \gamma_n C_n \nabla \log f(\mathbf{y}_n; \mathbf{x}_n, \mathbf{\theta}_n) $, 이는 $\mathbf{\theta}_n$ 을 암묵적으로 구해 안정성을 확보한다.
• 피셔 정보를 자연 조건자로 통합하여 데이터에 따라 변하는 수축 효과를 만들어내어 큰, 발산하는 업데이트를 방지한다.
• 일반선형모형(GLMs), M-추정법, 지수족 모형을 지원하는 R 패키지 sgd에 이 방법을 구현한다.
• 효율적인 행렬 연산과 희소 데이터 구조 지원을 통해 $N$ 에 대해 선형 시간 복잡도, $p$ 에 대해 부분선형 시간 복잡도를 유지를 한다.
• doParallel, Rmpi, gputools 등의 패키지와의 통합을 통해 병렬 및 GPU 가속 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 암묵적 확률적 경사하강법은 학습률 조정이나 기울기 클리핑과 같은 수동 튜닝 없이도 대규모 추정에서 수치적 안정성을 제공할 수 있는가?
• RQ2 대규모 데이터 세트에서 ia-sgd는 명시적 sgd와 비교해 수렴성, 이상치에 대한 강건성, 계산 효율성 측면에서 어떻게 다른가?
• RQ3 암묵적 업데이트 메커니즘이 초기 정지와 같은 히وري스틱에 의존도를 줄이는 자동 정규화의 형태로 작용하는 정도는 어느 정도인가?
• RQ4 ia-sgd는 스트리밍 데이터를 포함한 실세계 통계 문제, 예를 들어 GLMs와 강건한 회귀에 대해 R에서 효율적으로 구현될 수 있는가?
• RQ5 일반적인 정규성 조건 하에서 ia-sgd의 수렴성과 안정성에 대한 이론적 보장은 무엇인가?

주요 결과

• Toulis와 Airoldi(2015a)에서 증명한 바와 같이, ia-sgd 방법은 학습률 설정과 무관하게 이론적으로 안정적이며, 고노이즈 또는 모형 잘못 설정 조건에서도 발산을 방지한다.
• sgd R 패키지는 대규모 추정 작업에서 다른 소프트웨어보다 런타임 성능이 뛰어나 대규모 데이터 세트에서 뛰어난 계산 효율성을 입증한다.
• ia-sgd는 초기 정지나 기울기 클리핑과 같은 히وري스틱 튜닝에 의존도를 줄이며, 암묵적 업데이트가 본질적으로 최적화 경로를 정규화하기 때문이다.
• 실증 결과에 따르면, 정규화 항의 영향은 ia-sgd의 최종 추정치에 거의 영향을 주지 않으며, 이는 방법의 안정성이 업데이트 메커니즘 자체에서 기인함을 시사한다.
• 이 방법은 $\mathcal{O}(Np^{1-\epsilon})$ 시간 복잡도를 달성하여 데이터 크기와 비례하고 매개변수 차원과는 부분선형으로 증가하므로 스트리밍 및 빅데이터 응용에 적합하다.
• GPU 가속 및 병렬 처리와 같은 고성능 계산 도구와의 통합을 지원하여 분산 및 고처리량 시스템에의 배포를 가능하게 한다.