[논문 리뷰] Online estimation of the geometric median in Hilbert spaces : non asymptotic confidence balls

Hervé Cardot, Peggy Cénac외 1명|arXiv (Cornell University)|2015. 01. 27.

Statistical Methods and Inference참고 문헌 20인용 수 42

한 줄 요약

이 논문은 힐버트 공간에서 기하학적 중앙값의 온라인 순환 추정기의 비점점적(confidence) 구를 제안한다. 평균화된 확률적 경사 하강 알고리즘을 사용하며, $L^2$ 수렴 속도를 향상시키고 마팅게일 항에 대한 새로운 지수 부등식을 도출하여, 높은 신뢰도로 진짜 중앙값 주변의 유한 샘플 확률적 경계를 제공한다.

ABSTRACT

Estimation procedures based on recursive algorithms are interesting and powerful techniques that are able to deal rapidly with (very) large samples of high dimensional data. The collected data may be contaminated by noise so that robust location indicators, such as the geometric median, may be preferred to the mean. In this context, an estimator of the geometric median based on a fast and efficient averaged non linear stochastic gradient algorithm has been developed by Cardot, C\\'enac and Zitt (2013). This work aims at studying more precisely the non asymptotic behavior of this algorithm by giving non asymptotic confidence balls. This new result is based on the derivation of improved $L^2$ rates of convergence as well as an exponential inequality for the martingale terms of the recursive non linear Robbins-Monro algorithm.

연구 동기 및 목표

• 고차원 및 기능적 데이터 설정에서 온라인 기하학적 중앙값 추정에 대한 유한 샘플 확률적 보장을 제공하기 위해.
• 히르베르트 공간 내 순환 기하학적 중앙값 추정기의 기존 $L^2$ 수렴 속도를 향상시키기 위해.
• 비선형 확률적 경사 하강 알고리즘에서 발생하는 근접 마팅게일 수열에 대한 새로운 지수 부등식을 유도하기 위해.
• 평균화된 확률적 경사 하강 추정기의 기하학적 중앙값에 대한 비점점적(confidence) 구를 수립하기 위해.
• 대규모 또는 스트리밍 데이터에서 순환 알고리즘의 사용을 뒷받침하기 위해, 진짜 중앙값으로부터의 이격 행동을 높은 확률로 정량화하기 위해.

제안 방법

• 단계 크기가 $\gamma_n \propto n^{-\alpha}$, $\alpha < 1$인 평균화된 비선형 확률적 경사 하강 알고리즘을 사용하여 힐버트 공간에서 기하학적 중앙값을 순환적으로 추정한다.
• 추정기의 진짜 중앙값으로부터의 이격을 분석하기 위해 마팅게일 분해를 적용하여 편향과 확률적 오차 성분을 분리한다.
• 추정기 $\overline{Z}_n$에 대해 순서 $n^{-\alpha}$의 향상된 $L^2$ 수렴 속도를 도출하며, $\alpha < 1$ 이며 이는 이전 결과를 개선한다.
• 히르베르트 공간 내 근접 마팅게일 수열에 대한 새로운 지수 부등식을 수립하여, 핀엘리스 유형 경계를 비선형 순환 알고리즘으로 확장한다.
• 농도 불등식과 모멘트 경계를 조합하여 비점점적(confidence) 구를 구성한다. 형태는 $\|\overline{Z}_n - m\| \leq t_n$이며, 확률이 $1 - \delta$ 이상이 되도록 한다.
• 코시-슈바르츠 및 합산 기법을 사용하여 순환 업데이트에서 편향 항과 고차 오차 성분을 제어한다.

실험 결과

연구 질문

• RQ1 히르베르트 공간 내 기하학적 중앙값 추정에 대해 평균화된 확률적 경사 하강 알고리즘의 비점점적 수렴 속도는 무엇인가?
• RQ2 무한 차원 공간 내 비선형이고 순환적인 확률적 알고리즘의 마팅게일 항에 대해 지수 尾부 경계를 확립할 수 있는가?
• RQ3 온라인 기하학적 중앙값 추정기의 유한 샘플 이격 행동은 진짜 중앙값으로부터 어떻게 되는가?
• RQ4 명시적 비점점적 확률적 보장을 갖는 순환 추정기의 비용 구를 어떻게 구성할 수 있는가?
• RQ5 향상된 $L^2$ 수렴 속도와 농도 불등식은 고차원 또는 기능적 데이터에서 온라인 기하학적 중앙값 추정의 신뢰성에 어떤 정도로 기여하는가?

주요 결과

• 평균화된 확률적 경사 하강 추정기 $\overline{Z}_n$는 $\alpha < 1$일 때 $\mathbb{E}[\|\overline{Z}_n - m\|^2] \leq C' n^{-\alpha}$ 의 $L^2$ 수렴 속도를 달성하며, 이는 이전 결과를 초월한다.
• 히르베르트 공간 내 근접 마팅게일 수열에 대한 새로운 지수 부등식을 통해 높은 확률로 이격 제어가 가능하며, $\mathbb{P}(\|\widehat{M}_{n+1}\|/n \geq t) \leq 2\exp[-t^2 / (2(\sigma_n'^2 + N_n't/6))]$ 이다.
• 반경 $t_n = \mathcal{O}(\sqrt{\log(1/\delta)/n})$ 인 비점점적(confidence) 구를 구성하여 $\mathbb{P}(\|\overline{Z}_n - m\| \geq t_n) \leq \delta$ 가 되도록 한다.
• 이격 경계에서 지배적인 항은 마팅게일 농도이며, 편향 및 고차 항은 각각 $\mathcal{O}(n^{-1 + \alpha/2})$, $\mathcal{O}(n^{-\alpha})$, $\mathcal{O}(n^{-1})$ 의 속도로 감쇠한다.
• 비용 구 반경은 $\mathcal{O}(\sqrt{\log(1/\delta)/n})$ 으로 스케일링되며, 이는 순환 추정기의 거의 매개변수적 농도를 나타낸다.
• 결과는 기능적 또는 고차원 데이터에서 유한 샘플 보장을 갖는 온라인 순환 알고리즘을 강력한 기하학적 중앙값 추정에 사용하는 것이 타당함을 검증한다.