[논문 리뷰] $L^{p}$ and almost sure rates of convergence of averaged stochastic gradient algorithms with applications to online robust estimation

Antoine Godichon‐Baggioni|arXiv (Cornell University)|2016. 09. 18.

Statistical Methods and Inference참고 문헌 16인용 수 8

한 줄 요약

이 논문은 고차원 및 함수적 공간에서 평균화된 확률적 경사 하강 알고리즘의 일반적인 $L^p$ 및 거의 확실 수렴 속도를 확립하며, 온라인 강건 추정을 위한 통합된 프레임워크를 제공한다. 평균화된 추정량이 비평균화된 표준 확률적 경사 하강 방법에 비해 향상된 수렴 속도를 달성함을 보여주며, 특히 경사 노이즈에 대한 볼록성 및 모멘트 조건 하에서 그러한 성능 향상이 뚜렷하다.

ABSTRACT

It is more and more usual to deal with large samples taking values in high dimensional spaces such as functional spaces. Moreover, many usual estimators are defined as the solution of a convex problem depending on a random variable. In this context, Robbins-Monro algorithms and their averaged versions are good candidate to approximate the solution of these kinds of problem. Indeed, they usually do not need too much computational efforts, do not need to store all the data, which is crucial when we deal with big data, and allow to simply update the estimators, which is interesting when the data arrive sequentially. The aim of this work is to give a general framework which is sufficient to get asymptotic and non asymptotic rates of convergence of stochastic gradient estimates as well as of their averaged versions and to give application to online robust estimation.

연구 동기 및 목표

• 고차원 및 함수적 자료 설정에서 평균화된 확률적 경사 하강 알고리즘의 수렴 속도를 분석하기 위한 일반적인 이론적 프레임워크를 개발하는 것.
• 표준 및 평균화된 확률적 경사 하강 추정량에 대한 비점근적 및 점근적 $L^p$ 및 거의 확실 수렴 속도를 확립하는 것.
• 데이터가 순차적으로 도착하고 전체 저장이 불가능한 상황에서의 온라인 강건 추정 문제에 프레임워크를 적용하는 것.
• 약한 모멘트 및 볼록성 가정 하에서 평균화가 비평균화된 확률적 경사 하강 방법에 비해 수렴 속도를 향상시킨다는 것을 보여주는 것.

제안 방법

• 목표 함수가 랜덤 볼록 함수의 기대값인 볼록 확률 최적화 프레임워크를 사용하여 문제를 수립한다.
• 온라인 데이터를 사용하여 반복적으로 추정량을 갱신하는 평균화된 확률적 경사 하강 알고리즘(ASGAs)을 적용하며, 전체 데이터 저장을 피한다.
• 마링갈 타입의 추론과 모멘트 부등식을 사용하여 추정 오차의 모멘트를 분석함으로써 $L^p$ 수렴 속도를 유도한다.
• 반복자의 거의 확실 수렴성과 모멘트 바OUNDS, Borel-Cantelli 유형의 추론을 조합하여 거의 확실 수렴 속도를 확립한다.
• 수렴을 보장하기 위해 경사 노이즈에 대한 조건을 부과하며, 모멘트 바OUNDS 및 균일 적분 가능성 등을 포함한다.
• 목적 함수에 대한 적절한 정규성 및 성장 조건을 가정함으로써 기능 데이터 및 고차원 공간을 수용할 수 있는 일반적 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 고차원 및 함수적 공간에서 평균화된 확률적 경사 하강 알고리즘의 비점근적 $L^p$ 수렴 속도는 무엇인가?
• RQ2 동일한 조건 하에서 평균화된 추정량의 수렴 속도는 비평균화된 표준 확률적 경사 하강 추정량의 수렴 속도와 어떻게 비교되는가?
• RQ3 목적 함수 및 경사 노이즈에 대한 일반적인 조건은 무엇인가? 이 조건 하에서 평균화된 확률적 경사 하강 알고리즘이 거의 확실 수렴하는가?
• RQ4 제안된 프레임워크는 스트리밍 데이터와 제한된 메모리 조건 하에서 온라인 강건 추정에 적용될 수 있는가?

주요 결과

• 논문은 동일한 모멘트 조건 하에서 비평균화된 경우보다 평균화된 확률적 경사 하강 추정량의 $L^p$ 수렴 속도가 더 빠르다는 것을 확립한다.
• 경사 노이즈에 대한 약한 모멘트 및 적분 가능성 조건 하에서 평균화된 추정량의 거의 확실 수렴성이 증명된다.
• 프레임워크는 기능적 및 고차원 공간에 적용 가능하므로, 복잡한 데이터 구조를 가진 현대적인 대용량 데이터 문제에 적합하다.
• 결과는 평균화가 특히 분산 감소 및 추정량의 안정성 향상 측면에서 수렴 속도 향상에 기여함을 보여준다.