[논문 리뷰] Smoothed Gradients for Stochastic Variational Inference

Stephan Mandt, David M. Blei|arXiv (Cornell University)|2014. 06. 13.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 10

한 줄 요약

이 논문은 변동성이 높은 경량 추론(SVI)에서 편향이 없는 자연 기울기를 고정 윈도우 이동 평균을 사용한 과거 충분통계의 평균으로 대체함으로써 부드러운 기울기를 제안한다. 이는 저장소 비용을 일정 수준으로 증가시키면서도 분산을 줄이는 데 성공한다. 이 방법은 특히 중간 크기의 윈도우 크기(L=10–100)에서 표준 SVI보다 수렴 속도가 빠르고 예측 가능성이 높으며, 편향과 분산 사이의 최적의 트레이드오���을 실현한다.

ABSTRACT

Stochastic variational inference (SVI) lets us scale up Bayesian computation to massive data. It uses stochastic optimization to fit a variational distribution, following easy-to-compute noisy natural gradients. As with most traditional stochastic optimization methods, SVI takes precautions to use unbiased stochastic gradients whose expectations are equal to the true gradients. In this paper, we explore the idea of following biased stochastic gradients in SVI. Our method replaces the natural gradient with a similarly constructed vector that uses a fixed-window moving average of some of its previous terms. We will demonstrate the many advantages of this technique. First, its computational cost is the same as for SVI and storage requirements only multiply by a constant factor. Second, it enjoys significant variance reduction over the unbiased estimates, smaller bias than averaged gradients, and leads to smaller mean-squared error against the full gradient. We test our method on latent Dirichlet allocation with three large corpora.

연구 동기 및 목표

• SVI에서의 높은 기울기 분산 문제를 해결하여 수렴성과 모델 품질 향상을 도모한다.
• 기존의 편향 없는 추정에 의존하는 전통적 접근 방식을 뛰어넘어, 편향이 있는 기울기 추정을 SVI에 적용해 볼 수 있는지를 탐색한다.
• 계산 비용과 제약 조건 유지 특성을 그대로 유지하면서도 기울기 분산을 줄이는 방법을 개발한다.
• 부드러운 기울기 추정기를 통해 편향과 분산을 균형 잡음으로써 전체 기울기 대비 평균 제곱 오차를 개선한다.
• 실세계 코퍼스를 사용한 대규모 토픽 모델링 작업에서 성능 향상을 입증한다.

제안 방법

• 표준 SVI에서 사용하는 편향 없는 기울기 대신, 과거 충분통계의 고정 윈도우 이동 평균을 사용하는 부드러운 기울기를 도입한다.
• 부드러운 기울기는 이전 L개의 충분통계에 대한 가중 평균으로 계산되며, $\sum_{j=0}^{L-1} \hat{S}_{i-j} $로 표현되며, 기울기 업데이트에서 현재 $\hat{S}_i$ 를 대체한다.
• 업데이트 규칙은 여전히 볼록 조합 형태를 유지한다: $\lambda_{i+1} = (1 - \rho_i)\lambda_i + \rho_i(\eta + N \cdot \text{smoothed } \hat{S}_i)$, 이로써 매개변수의 타당성이 유지된다.
• 이 방법은 표준 SVI와 동일한 계산 비용을 유지하며, 저장소 요구량은 윈도우 크기 L에 비례하여 일정하게 증가한다.
• 이 방법은 매개변수 자체를 평균화하지 않기 때문에, 평균 기울기(AG)에서 발생하는 제약 위반 현상을 피한다.
• 편향은 AG보다 작지만, 동일한 분산 감소 효과를 달성하여 평균 제곱 오차가 낮아진다.

실험 결과

연구 질문

• RQ1 편향이 있는 기울기 추정이 수렴 속도와 모델 품질 측면에서 SVI의 성능 향상에 기여할 수 있는가?
• RQ2 과거 충분통계의 고정 윈도우 이동 평균을 사용할 경우, 편향 없는 추정 대비 더 효과적으로 기울기 분산을 줄일 수 있으며, 동시에 계산 효율성도 유지되는가?
• RQ3 부드러운 기울기에서의 편향과 분산 간의 트레이드오���이 대규모 데이터에서 최종 모델의 예측 가능성에 어떤 영향을 미치는가?
• RQ4 기존의 편향 기울기 방법(예: 평균 기울기)과 비교해, 이 방법이 매개변수의 타당성(예: 양수성 또는 단체 제약)을 더 잘 유지할 수 있는가?
• RQ5 예측 성능과 계산 비용을 고려할 때, 부드러운 기울기의 최적 윈도우 크기 L는 얼마인가?

주요 결과

• 부드러운 기울기 방법은 표준 SVI의 편향 없는 기울기 대비 분산이 크게 낮아졌으며, 저장소 요구량은 일정 수준으로만 증가했다.
• 세 개의 대규모 코퍼스(Arxiv, NYT, Wikipedia)에서의 은닉 딜리클라우드 할당(LDA) 모델링에서, 중간 크기의 윈도우 크기(L=10에서 L=100)가 가장 높은 검증 예측 가능성을 보였다.
• 이 방법은 표준 SVI보다 더 빠르게 수렴했으며, 더 나은 국소 최적해를 달성했으며, 특히 L=10–100에서 최고 성능을 보였다. 반면 L=∞(완전 평균화)는 과도한 편향으로 인해 성능 저하를 보였다.
• 부드러운 기울기는 평균 기울기(AG)보다 편향과 분산 양면에서 뛰어난 성능을 보였으며, AG는 더 큰 편향을 유발해 매개변수 제약을 위반했다.
• 일정한 학습률 10⁻³과 24시간 시간 제약 조건 하에서, 이 방법은 Arxiv 코퍼스를 최대 30회, NYT는 5회, Wikipedia는 6회 효과적으로 스캔했으며, 기준 SVI보다 더 높은 예측 가능성을 확보했다.
• 이 방법은 다양한 코퍼스에서 뛰어난 성능을 유지했으며, 세 데이터셋 모두에서 일관된 예측 확률 향상이 관찰되었다.