[논문 리뷰] Implicit stochastic gradient descent for principled estimation with large datasets

Panos Toulis, Edoardo M. Airoldi|arXiv (Cornell University)|2014. 08. 13.

Stochastic Gradient Optimization Techniques참고 문헌 59인용 수 6

한 줄 요약

이 논문은 대규모 데이터셋에 대한 안정적인 추정 방법인 암묵적 확률적 경사하강법(ISGD)을 소개한다. ISGD는 관측된 피셔 정보를 기반으로 한 수축 메커니즘을 통해 반복을 암묵적으로 정의함으로써 수동적인 학습률 조정이 필요 없도록 한다. ISGD는 일반선형모형 및 지수족 모형에서 명시적 확률적 경사하강법보다 더 뛰어난 안정성과 효율성을 보이며, 편향, 분산 및 효율성 손실에 대한 이론적 보장을 제공한다.

ABSTRACT

Efficient optimization procedures, such as stochastic gradient descent, have been gaining popularity for estimation tasks with large amounts of data. In this paper, we introduce an implicit stochastic gradient descent estimation procedure that ameliorates the procedures derived from stochastic approximations a la Robbins & Monro (1951), termed explicit for contrast, by using iterates that are implicitly defined. The implicit iterates are shrinked versions of the explicit iterates, and it can be shown that the amount of shrinkage depends on the observed Fisher information, but this latter quantity needs not be directly computed. The implicit procedure is thus robust to the choice of a scalar hyper-parameter in stochastic gradient descent, known as the learning rate, that affects its asymptotic statistical properties. In contrast, the explicit procedure requires the learning rate to agree with the eigenvalues of the Fisher information matrix of the underlying model parameters in order to be stable. In the context of generalized linear models, we derive analytic formulas for the asymptotic bias and variance of both procedures as estimation methods, and quantify their efficiency loss compared to maximum likelihood. We also show how loss in efficiency can be avoided through careful choice of the parameterization. Our analysis naturally extends to exponential family models, and to a general class of estimation methods through Monte-Carlo stochastic gradient descent, in problems where the likelihood is hard to compute but where it is easy to sample from the underlying model. We demonstrate our theory in an extensive set of experiments involving real and simulated data. Implicit stochastic gradient descent compares favorably to other popular estimation methods, and it is a superior form of stochastic gradient descent when it can be implemented efficiently. 1 ar

연구 동기 및 목표

• 대규모 추정 작업에서 명시적 확률적 경사하강법의 불안정성과 학습률에 대한 민감성 문제를 해결한다.
• 하이퍼파rameter의 정밀한 조정이 필요 없이도 통계적 효율성을 유지하는 원칙적인 추정 절차를 개발한다.
• 암묵적 갱신이 자연스럽게 피셔 정보를 통합함으로써 안정성과 향상된 점근적 성질을 제공함을 보여준다.
• 이론적 및 실증적 검증을 통해 ISGD가 표준 확률적 경사하강법에 비해 편향, 분산 및 효율성 면에서 열등하지 않음을 입증한다.
• 이론적 및 실증적 검증을 통해 ISGD가 표준 확률적 경사하강법에 비해 편향, 분산 및 효율성 면에서 열등하지 않음을 입증한다.

제안 방법

• 각 반복이 고정점 방정식을 통해 암묵적으로 정의되는 암묵적 갱신 규칙을 제안하여 명시적 학습률 의존성을 피한다.
• 관측된 피셔 정보를 직접 계산하지 않고도 업데이트를 관측된 피셔 정보 기반으로 스케일링하는 수축 메커니즘을 사용한다.
• 일반선형모형에서 ISGD와 명시적 SGD의 점근적 편향과 분산에 대한 해석적 표현을 유도한다.
• 암묵적 절차의 수축 효과가 학습률이 잘못 설정된 경우에도 수렴을 안정화시킴을 보여준다.
• 우도가 계산이 어려운 모형에 대해 몬테카를로 샘플링을 사용하여 스코어 함수를 근사함으로써 이론적 확장을 수행한다.
• 적절한 매개변수화를 통해 ISGD의 효율성 손실를 제거할 수 있으며, 이는 최대우도추정과 일치함을 보여준다.

실험 결과

연구 질문

• RQ1 암묵적 확률적 경사하강법은 대규모 추정에서 명시적 확률적 경사하강법에 비해 안정성 면에서 어떻게 향상되는가?
• RQ2 스토케스틱 최적화의 맥락에서 암묵적 갱신과 피셔 정보 사이의 이론적 관계는 무엇인가?
• RQ3 일반선형모형에서 ISGD는 명시적 SGD에 비해 편향과 분산을 얼마나 감소시키는가?
• RQ4 ISGD는 최대우도추정에 가까운 효율성을 달성할 수 있으며, 어떤 매개변수화 조건에서 이를 달성하는가?
• RQ5 우도가 계산이 어려운 모형에서 ISGD는 어떻게 작동하는가? 몬테카를로 근사가 그 통계적 우수성을 유지할 수 있는가?

주요 결과

• 암묵적 확률적 경사하강법은 관측된 피셔 정보에 의해 갱신이 자동으로 스케일링되므로 학습률 선택에 민감성이 낮고, 이로 인해 더 뛰어난 안정성을 보인다.
• ISGD의 점근적 편향과 분산은 해석적으로 유도되었으며, 학습률이 최적치가 아닐 경우에도 명시적 SGD보다 유리한 성질을 가짐을 입증하였다.
• 적절한 매개변수화를 통해 최대우도추정에 대한 효율성 손실를 방지할 수 있으며, 이로 인해 ISGD는 점근적으로 효율적이다.
• 일반선형모형에서 다양한 학습률 설정 조건에서도 ISGD는 명시적 SGD보다 더 낮은 평균제곱오차를 달성한다.
• 이론적으로는 지수족 모형과 몬테카를로 확률적 경사하강법으로 확장되며, 우도가 계산이 어려운 경우에도 안정성이 유지된다.
• 실제 및 시뮬레이션 데이터에 대한 실증 결과는 ISGD가 수렴성과 추정 정확도 면에서 표준 확률적 경사하강법 및 기타 인기 있는 추정 방법보다 뛰어나다는 것을 확인한다.