[논문 리뷰] Constant Step Size Stochastic Gradient Descent for Probabilistic Modeling

Dmitry T. Babichev, Francis Bach|arXiv (Cornell University)|2018. 04. 16.

Stochastic Gradient Optimization Techniques참고 문헌 4인용 수 8

한 줄 요약

이 논문은 지수족 분포를 이용한 확률 모델링에서 일정 단계 크기의 확률적 경사 하강법에 대해 자연 매개변수 대신 모멘트 매개변수를 평균화하는 방법을 제안한다. 이 방법이 유한 차원 모델에서는 최고의 선형 모델보다 더 나은 예측 성능을 보이며, 무한 차원 모델에서는 항상 최적의 예측으로 수렴하는 반면, 자연 매개변수 평균화는 이러한 설정에서 수렴하지 못한다는 것을 입증한다.

ABSTRACT

Stochastic gradient methods enable learning probabilistic models from large amounts of data. While large step-sizes (learning rates) have shown to be best for least-squares (e.g., Gaussian noise) once combined with parameter averaging, these are not leading to convergent algorithms in general. In this paper, we consider generalized linear models, that is, conditional models based on exponential families. We propose averaging moment parameters instead of natural parameters for constant-step-size stochastic gradient descent. For finite-dimensional models, we show that this can sometimes (and surprisingly) lead to better predictions than the best linear model. For infinite-dimensional models, we show that it always converges to optimal predictions, while averaging natural parameters never does. We illustrate our findings with simulations on synthetic data and classical benchmarks with many observations.

연구 동기 및 목표

• 대규모 확률 모델링에서의 느린 수렴 문제를 해결하기 위해.
• 일정 단계 크기로 일반화된 선형 모델에서 수렴성과 효율성을 갖는 알고리즘이 가능할지 탐색하기 위해.
• SGD에서 모멘트 매개변수 평균화와 자연 매개변수 평균화의 이론적 및 실증적 이점을 조사하기 위해.
• 일정 단계 크기의 SGD에서 모멘트 매개변수 평균화가 최적의 예측 성능을 달성할 수 있는 조건을 설정하기 위해.

제안 방법

• 베르누이 모델에서의 확률과 같이 모멘트 매개변수(예: 확률)를 자연 매개변수(예: 로그오즈) 대신 평균화하는 새로운 평균화 기법을 제안한다.
• 일단 단계 크기를 사용하여 지수족 모델에 대해 확률적 경사 하강법을 적용하며, 단일 데이터 포인트에서의 불편한 기울기 추정치를 사용한다.
• 모멘트 매개변수 평균화의 이론적 수렴 보장을 도출하며, 이는 유한 차원 및 무한 차원 모델 모두에 적용되며, 재생 커널 힐버트 공간을 포함한 커널 기반 설정도 포함된다.
• 대규모 데이터셋에서의 계산을 가능하게 하기 위해 컬럼 샘플링과 정규화를 커널 방법에 적용한다.
• 초과 예측 성능을 평가 지표로 사용하여, 평균화된 예측치와 평균화된 추정치, 그리고 최고의 선형 모델을 비교한다.
• 합성 데이터와 실세계 벤치마크(MiniBooNE, Covertype)를 사용하여 선형 모델과 커널 모델 모두에서 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 무한 차원 지수족 모델에서 일정 단계 크기의 SGD와 함께 모멘트 매개변수 평균화가 최적의 예측으로 수렴할 수 있는가?
• RQ2 모멘트 매개변수 평균화가 유한 차원 일반화된 선형 모델에서 자연 매개변수 평균화보다 더 나은 예측 성능을 낼 수 있는가?
• RQ3 자연 매개변수 공간이 제약이 없음에도 불구하고, 일정 단계 크기의 SGD에서 왜 모멘트 매개변수 평균화가 자연 매개변수 평균화를 능가하는가?
• RQ4 유한 차원 설정에서 모멘트 매개변수 평균화의 성능은 최고의 선형 모델과 비교해 어떻게 되는가?
• RQ5 단계 크기와 평균화의 영향을 대규모 확률 모델링에서 수렴 속도와 예측 정확도에 대해 어떻게 평가할 수 있는가?

주요 결과

• 유한 차원 모델에서는 모멘트 매개변수 평균화가 최고의 선형 모델보다 더 나은 예측 성능을 달성할 수 있으며, 이는 놀라운 결과로 기술된다.
• 무한 차원 모델에서는 모멘트 매개변수 평균화가 항상 최적의 예측으로 수렴하지만, 자연 매개변수 평균화는 절대 수렴하지 않는다.
• 합성 데이터에 대한 시뮬레이션 결과, 더 큰 일정 단계 크기와 함께 모멘트 매개변수 평균화가 더 나은 성능을 낼 수 있으며, 이는 다른 방법에서는 발산을 유도할 수 있음에도 불구하고 가능하다.
• 실세계 데이터셋(MiniBooNE 및 Covertype)에서, 선형 모델과 커널 모델 모두에서 모멘트 매개변수 평균화가 자연 매개변수 평균화를 일관되게 능가한다.
• 특히 커널화된 설정에서는 모멘트 매개변수 평균화가 최고의 선형 모델보다 초과 예측 손실이 낮아지며, 성능 향상이 두드러진다.
• 비선형 및 고차원 설정에서 특히, 일정 단계 크기와 함께 빠른 수렴을 가능하게 하면서도 이론적 수렴성을 유지할 수 있다.