[논문 리뷰] Online estimation of the asymptotic variance for averaged stochastic gradient algorithms

Antoine Godichon‐Baggioni|arXiv (Cornell University)|2017. 02. 03.

Stochastic Gradient Optimization Techniques참고 문헌 43인용 수 15

한 줄 요약

이 논문은 일반 힐버트 공간에서 평균화된 확률적 경사도 추정기의 渐近 분산을 추정하기 위한 재귀적 온라인 알고리즘을 제안하며, 거의 확실히 및 제곱평균 수렴 속도를 확립한다. 표준 및 평균화된 확률적 경사도 알고리즘에 대한 渐近 정규성 결과를 확장하여 고차원 및 온라인 학습 환경에서 유효한 추론을 가능하게 한다.

ABSTRACT

Stochastic gradient algorithms are more and more studied since they can deal efficiently and online with large samples in high dimensional spaces. In this paper, we first establish a Central Limit Theorem for these estimates as well as for their averaged version in general Hilbert spaces. Moreover, since having the asymptotic normality of estimates is often unusable without an estimation of the asymptotic variance, we introduce a new recursive algorithm for estimating this last one, and we establish its almost sure rate of convergence as well as its rate of convergence in quadratic mean. Finally, two examples consisting in estimating the parameters of the logistic regression and estimating geometric quantiles are given.

연구 동기 및 목표

• 고차원 및 온라인 설정에서 평균화된 확률적 경사도 알고리즘에 대해 효율적이고 재귀적인 渐近 분산 추정의 부족을 해결한다.
• 일반 힐버트 공간에서 표준 및 평균화된 확률적 경사도 추정기의 渐近 정규성을 확립한다.
• 약한 정규성 조건과 국소 강력 볼록성 가정 하에 제안된 재귀적 분산 추정기의 이론적 수렴 속도를 제공한다.
• 대규모 및 순차적 데이터 환경에서 확률적 경사도 방법에 대한 실용적 통계적 추론(예: 신뢰구간)을 가능하게 한다.
• 로지스틱 회귀 및 고차원 및 기능 데이터 설정에서의 기하적 분위수 추정을 통해 적용 가능성을 입증한다.

제안 방법

• 국소 강력 볼록성 및 모멘트 조건 하에서 분리 가능한 힐버트 공간에서 평균화된 확률적 경사도 추정기의 중심극한정리를 유도한다.
• Gahbiche와 Pelletier(2000)의 영감을 받아 평균화된 추정기의 渐近 분산을 추정하기 위한 재귀적 알고리즘을 제안한다.
• 마팅게일 차분 수열과 모멘트 경계를 사용하여 재귀적 분산 추정기의 거의 확실 수렴 및 $ L^2 $ 수렴 속도를 확립한다.
• 힐베르트-슈미트 연산자를 활용한 기능적 프레임워크를 도입하여 일반 힐버트 공간 값의 기울기 및 그 공분산 구조를 다룬다.
• 재귀적 추정기의 편향과 분산을 제어하기 위해 모멘트 경계 및 지수합 부등식에 관한 기술적 보조정리를 활용한다.
• 모든 과거 데이터를 저장하지 않고 온라인 관측값을 이용해 점진적으로 분산 추정치를 갱신함으로써 재귀적 계산을 보장한다.

실험 결과

연구 질문

• RQ1 국소 강력 볼록성 조건 하에서 일반 힐버트 공간에서 평균화된 확률적 경사도 추정기의 渐近 정규성을 확립할 수 있는가?
• RQ2 어떤 재귀적 알고리즘이 평균화된 확률적 경사도 추정기의 渐近 분산을 일관적이고 수렴 가능한 방식으로 온라인으로 추정할 수 있는가?
• RQ3 제안된 재귀적 분산 추정기의 거의 확실 수렴 속도와 제곱평균 수렴 속도는 무엇인가?
• RQ4 제안된 방법은 고차원 및 온라인 학습 환경에서 유효한 통계적 추론(예: 신뢰구간)을 어떻게 가능하게 하는가?
• RQ5 이 방법은 로지스틱 회귀 및 기하적 분위수 추정과 같은 실세계 문제에 효과적으로 적용될 수 있는가?

주요 결과

• 논문은 약한 정규성 조건과 국소 강력 볼록성 가정 하에서 분리 가능한 힐버트 공간에서 평균화된 확률적 경사도 추정기의 중심극한정리를 확립한다.
• 제안된 재귀적 알고리즘은 거의 확실 수렴 및 $ L^2 $ 수렴을 달성하며, 단계 크기 스케줄과 문제 기하학적 특성에 따라 수렴 속도가 달라진다.
• 수렴 속도는 모멘트 경계 및 지수합 부등식을 통해 공식적으로 유도되며, 최적 해와의 거리에 명시적인 의존성을 보인다.
• 이 방법은 파라미터 모델(예: 로지스틱 회귀)과 비모수적 강건 통계(예: 기하적 분위수) 양쪽 모두에 적용 가능하다.
• 재귀적 분산 추정기는 일관적이고 계산적으로 효율적이며, 과거 데이터를 저장하지 않고도 온라인 업데이트만으로도 가능하다.
• 시뮬레이션 결과와 이론적 분석은 이 방법이 순차적 데이터 스트림을 포함한 고차원 및 기능 데이터 설정에서 효과적임을 확인한다.