[논문 리뷰] Estimating the geometric median in Hilbert spaces with stochastic gradient algorithms: $L^{p}$ and almost sure rates of convergence

Antoine Godichon|arXiv (Cornell University)|2015. 04. 09.

Statistical Methods and Inference참고 문헌 16인용 수 5

한 줄 요약

이 논문은 분리 가능한 힐버트 공간에서 기하학적 중앙값을 추정하는 스토하스틱 그래디언트 알고리즘에 대한 $L^p$ 및 거의 확실 수렴 속도를 확립한다. 로빈스-몬로 알고리즘에 대한 최적의 $L^p$ 수렴 속도를 유도하고, 이를 바탕으로 표준 및 평균화된 알고리즘의 거의 확실 수렴 속도를 도출하며, 기능적 데이터 및 고차원 데이터 설정에서의 일致성 및 이차 평균 수렴에 대한 이전 결과를 확장한다.

ABSTRACT

The geometric median, also called $L^{1}$-median, is often used in robust statistics. Moreover, it is more and more usual to deal with large samples taking values in high dimensional spaces. In this context, a fast recursive estimator has been introduced by Cardot, Cenac and Zitt. This work aims at studying more precisely the asymptotic behavior of the estimators of the geometric median based on such non linear stochastic gradient algorithms. The $L^{p}$ rates of convergence as well as almost sure rates of convergence of these estimators are derived in general separable Hilbert spaces. Moreover, the optimal rate of convergence in quadratic mean of the averaged algorithm is also given.

연구 동기 및 목표

• 고차원 및 기능적 데이터 설정에서 기하학적 중앙값 추정을 위한 스토하스틱 그래디언트 알고리즘의 점근적 행동에 대한 깊이 있는 이해를 제공하는 것.
• 일반적인 분리 가능한 힐버트 공간에서 로빈스-몬로 알고리즘의 $L^p$ 수렴 속도를 도출하는 것.
• 평균화된 스토하스틱 그래디언트 알고리즘에 대한 최적의 이차 평균 수렴 속도를 확립하는 것.
• 보렐-칸텔리 및 마틴갈의 대수법칙과 같은 확률적 도구를 사용하여 표준 및 평균화된 알고리즘의 거의 확실 수렴 속도를 도출하는 것.
• 이론적 보장을 일치성 초과하여 비점근적이고 경로 기반의 수렴 행동까지 확장하는 것, 특히 강력한 통계적 추정에 응용한다.

제안 방법

• 스텝 크기가 $\gamma_n = c n^{-\alpha}$, $\alpha \in (1/2, 1)$인 로빈스-몬로 스토하스틱 그래디언트 알고리즘을 사용하여 힐버트 공간에서 기하학적 중앙값을 순차적으로 추정한다.
• 추정 오차 $\|Z_n - m\|$의 $L^p$ 모멘트 한계를 적용하여 로빈스-몬로 알고리즘의 $L^p$ 수렴 속도를 도출한다.
• 보렐-칸텔리 보조정리를 적용하여 모멘트 한계를 거의 확실 수렴 속도로 전환하며, 모든 $\beta' < \alpha$에 대해 $\|Z_n - m\| = O(n^{-\beta'/2})$ a.s.임을 보인다.
• 순차적 업데이트의 구조를 활용하여 평균화된 알고리즘 $\overline{Z}_n$을 마틴갈 및 편향 항으로 분해하여 분석한다.
• 힐버트 공간에서의 마틴갈에 대한 대수법칙을 적용하여 모든 $\delta > 0$에 대해 $\frac{1}{n}\sum_{k=1}^n \xi_{k+1} = o\left(\frac{\ln^{(1+\delta)/2} n}{\sqrt{n}}\right)$ a.s.임을 보인다.
• 카르도 등(2015)에서 얻은 최적의 이차 평균 수렴 속도를 기반으로 하여 평균화된 추정자에 대한 $L^p$ 및 거의 확실 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 분리 가능한 힐버트 공간에서 기하학적 중앙값 추정을 위한 로빈스-몬로 알고리즘의 $L^p$ 수렴 속도는 무엇인가?
• RQ2 평균화된 스토하스틱 그래디언트 알고리즘의 최적의 이차 평균 수렴 속도는 무엇인가?
• RQ3 표준 및 평균화된 스토하스틱 그래디언트 알고리즘의 거의 확실 수렴 속도는 무엇인가?
• RQ4 로빈스-몬로 알고리즘의 $L^p$ 수렴 속도는 평균화된 추정자에 대한 거의 확실 행동에 어떻게 기여하는가?
• RQ5 힐버트 공간에서의 마틴갈에 대한 대수법칙을 적용하여 평균화된 알고리즘의 거의 확실 수렴 속도를 유도할 수 있는가?

주요 결과

• 로빈스-몬로 알고리즘은 모든 $\beta' < \alpha$에 대해 $\mathbb{E}[\|Z_n - m\|^p] = O(n^{-p(\alpha - \beta')})$의 $L^p$ 수렴 속도를 달성한다. 여기서 $\alpha \in (1/2, 1)$이다.
• 로빈스-몬로 알고리즘의 거의 확실 수렴 속도는 모든 $\beta' < \alpha$에 대해 $\|Z_n - m\| = O(n^{-\beta'/2})$ a.s.이며, $\alpha > \beta' > 2\alpha - 1$를 만족한다.
• 평균화된 알고리즘 $\overline{Z}_n$은 $\alpha > \beta > 1/2$ 조건 하에 모든 $\beta < \alpha$에 대해 $\|\overline{Z}_n - m\| = o(n^{-\beta/2})$ a.s.로 거의 확실하게 수렴한다.
• 평균화된 알고리즘의 최적의 이차 평균 수렴 속도는 $\mathbb{E}[\|\overline{Z}_n - m\|^2] = O(n^{-\alpha})$이며, 문헌에서 알려진 최고 수준의 속도와 일치한다.
• 평균화된 알고리즘의 마틴갈 차수 항 $\sum_{k=1}^n \xi_{k+1}$는 모든 $\delta > 0$에 대해 $\frac{1}{n}\sum_{k=1}^n \xi_{k+1} = o\left(\frac{\ln^{(1+\delta)/2} n}{\sqrt{n}}\right)$ a.s.를 만족한다.
• 증명 프레임워크는 정규화된 마틴갈 증분의 거의 확실 수렴을 확인함으로써, 마틴갈에 대한 대수법칙을 힐버트 공간으로 확장한다.