[논문 리뷰] Efficient and fast estimation of the geometric median in Hilbert spaces with an averaged stochastic gradient algorithm

Hervé Cardot, Peggy Cénac외 1명|arXiv (Cornell University)|2011. 01. 22.

Statistical Methods and Inference참고 문헌 29인용 수 100

한 줄 요약

이 논문은 힐버트 공간에서 기하학적 중앙값을 추정하기 위해 평균화된 확률적 경사하강법에 기반한 효율적인 온라인 알고리즘을 제안한다. 이는 고차원 기능 데이터에 대해 빠르고 순차적인 계산을 가능하게 한다. 이 방법은 거의 확실한 일致성, $L^2$ 수렴성, 점근 정규성을 확보하며, 이론적 보장과 5,423개 곡선으로 구성된 텔레비전 시청률 데이터셋에서의 실증적 검증을 통해 입증된다.

ABSTRACT

With the progress of measurement apparatus and the development of automatic sensors it is not unusual anymore to get thousands of samples of observations taking values in high dimension spaces such as functional spaces. In such large samples of high dimensional data, outlying curves may not be uncommon and even a few individuals may corrupt simple statistical indicators such as the mean trajectory. We focus here on the estimation of the geometric median which is a direct generalization of the real median and has nice robustness properties. The geometric median being defined as the minimizer of a simple convex functional that is differentiable everywhere when the distribution has no atoms, it is possible to estimate it with online gradient algorithms. Such algorithms are very fast and can deal with large samples. Furthermore they also can be simply updated when the data arrive sequentially. We state the almost sure consistency and the L2 rates of convergence of the stochastic gradient estimator as well as the asymptotic normality of its averaged version. We get that the asymptotic distribution of the averaged version of the algorithm is the same as the classic estimators which are based on the minimization of the empirical loss function. The performances of our averaged sequential estimator, both in terms of computation speed and accuracy of the estimations, are evaluated with a small simulation study. Our approach is also illustrated on a sample of more 5000 individual television audiences measured every second over a period of 24 hours.

연구 동기 및 목표

• 기존 평균 기반 방법이 이질치에 민감한 고차원 기능 데이터에서 강건한 중심 경향성 추정 문제를 해결한다.
• 대규모 또는 스트리밍 기능 데이터에 적합한 계산 효율성과 최소한의 메모리 요구량을 갖춘 순차적 알고리즘을 개발한다.
• 평균화된 확률적 경사하강 추정기의 이론적 수렴 성질—거의 확실한 일치성, $L^2$ 수렴 속도, 점근 정규성—을 확립한다.
• 전체 데이터 저장과 행렬 역행렬 계산이 필요한 배치 또는 반복 방법에 대한 확장 가능한 대안을 제공하며, 특히 고차원성으로 인해 계산이 어려운 기능 데이터에 유용하다.

제안 방법

• 원자 측도가 없는 조건 하에 힐버트 공간에서 기하학적 중앙값을 볼록이고 미분 가능한 기능의 최소화자로 공식화한다.
• 감소하는 스텝 사이즈를 갖는 온라인 확률적 경사하강 알고리즘을 적용하여 새로운 데이터가 도착함에 따라 추정치를 반복적으로 갱신한다.
• 수렴 성능 향상과 점근 정규성 확보를 위해 반복값 시퀀스에 평균화 기법을 도입한다.
• 마팅게일 이론과 기능 중심극한정리의 논증을 활용하여 평균화된 추정기의 점근 정규성을 증명한다.
• 아벨 변환과 분해 기법을 활용하여 평균화된 추정기의 수렴성을 분석하고 오차 항을 제어한다.
• 모멘트 조건과 힐버트 공간에서의 대수법칙을 이용하여 추정 오차의 기대 노름을 유계화함으로써 거의 확실한 수렴성과 $L^2$ 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 무한차원 힐버트 공간에서 기하학적 중앙값을 일관적이고 효율적으로 추정할 수 있는 온라인 순차 알고리즘이 가능한가?
• RQ2 기하학적 중앙값에 대한 평균화된 확률적 경사하강 추정기는 고전적 경험 최소화자와 동일한 점근 분포를 갖는가?
• RQ3 제안된 알고리즘이 고차원 또는 기능 데이터 설정에서 이론적 수렴 속도와 거의 확실한 일치성 성질을 갖는가?
• RQ4 대규모 기능 데이터에서 배치 또는 반복 방법과 비교할 때 이 알고리즘의 계산 속도와 정확도는 어떠한가?
• RQ5 이 알고리즘은 연속적인 시간 시리즈 형태의 개인 텔레비전 시청률과 같은 실제 고차원 기능 데이터에 실용적으로 적용 가능한가?

주요 결과

• 미세한 모멘트 및 부드러움 조건 하에, 평균화된 확률적 경사하강 추정기는 거의 확실하게 일치하며, $O(n^{-rac{1}{2} + rac{1}{2}eta})$ 속도로 $L^2$ 수렴성을 보인다. 여기서 $\beta > 0$ 이다.
• 평균화된 추정기의 점근 분포는 고전적 경험 최소화자와 동일한 한계 분산을 갖는 정규분포이며, 이는 효율성을 확인한다.
• 알고리즘은 반복당 $O(nd)$의 계산 복잡도를 갖는다. 이는 대규모 샘플에 대해 확장 가능하며 스트리밍 데이터에 적합하다.
• 매번 행렬 역행렬 계산이 필요한 기존의 반복 알고리즘(예: Gervini, 2008)에 비해 성능이 뛰어나며, 고차원에서의 계산 비용이 과도한 문제를 해결한다.
• 5,423명의 개인 텔레비전 시청 곡선(86,400차원)으로 구성된 데이터셋에 대한 실증 결과는 알고리즘의 빠른 속도와 이질치에 대한 강건성을 확인한다.
• 이론적 분석을 통해 알고리즘 내 마팅게일 차이 수열이 균일하게 유계임을 입증하였으며, 이는 기능 중심극한정리의 적용을 가능하게 한다.