[論文レビュー] Online estimation of the geometric median in Hilbert spaces : non asymptotic confidence balls

Hervé Cardot, Peggy Cénac+1 more|arXiv (Cornell University)|Jan 27, 2015

Statistical Methods and Inference参考文献 20被引用数 42

ひとこと要約

本稿では、ヒルバート空間における幾何学的中央値のオンライン再帰的推定器について、平均化された確率的勾配アルゴリズムを用いて非漸近的信頼球を提示する。$L^2$収束速度の向上と、マルティングール項に関する新しい指数不等式を確立することで、高い信頼度で真の中央値回りの有限標本確率的境界を可能にする。

ABSTRACT

Estimation procedures based on recursive algorithms are interesting and powerful techniques that are able to deal rapidly with (very) large samples of high dimensional data. The collected data may be contaminated by noise so that robust location indicators, such as the geometric median, may be preferred to the mean. In this context, an estimator of the geometric median based on a fast and efficient averaged non linear stochastic gradient algorithm has been developed by Cardot, C\\'enac and Zitt (2013). This work aims at studying more precisely the non asymptotic behavior of this algorithm by giving non asymptotic confidence balls. This new result is based on the derivation of improved $L^2$ rates of convergence as well as an exponential inequality for the martingale terms of the recursive non linear Robbins-Monro algorithm.

研究の動機と目的

• 高次元および関数データの設定下でのオンライン幾何学的中央値推定に、有限標本確率的保証を提供すること。
• ヒルバート空間内での再帰的幾何学的中央値推定器の既存の $L^2$ 収束速度を改善すること。
• 非線形確率的勾配アルゴリズムに生じる準マルティングール列に関する新しい指数不等式を導出すること。
• 平均化された確率的勾配推定器の幾何学的中央値に対する非漸近的信頼球を確立すること。
• 大規模またはストリーミングデータにおいて再帰的アルゴリズムを用いる際、真の中央値からの逸脱行動を高い確率で定量的に評価すること。

提案手法

• ステップサイズ $\gamma_n \propto n^{-\alpha}$, $\alpha < 1$ を用いた平均化された非線形確率的勾配アルゴリズムを用い、ヒルバート空間内での幾何学的中央値を再帰的に推定する。
• 推定器の真の中央値からの逸脱を分析するため、マルティングール分解を適用し、バイアス成分と確率的誤差成分に分離する。
• 推定器 $\overline{Z}_n$ の $L^2$ 収束速度を $n^{-\alpha}$ のオーダーで改善し、以前の結果を精緻化する。
• ヒルバート空間内での準マルティングール列に対する新しい指数不等式を確立し、ピンェリス型境界を非線形再帰的アルゴリズムへ拡張する。
• 集中不等式とモーメントバウンドを組み合わせ、確率が $1 - \delta$ 以上であるような非漸近的信頼球 $\|\overline{Z}_n - m\| \leq t_n$ を構築する。
• コーシー・シュワルツと和分の技法を用いて、再帰的更新におけるバイアス項および高階誤差成分を制御する。

実験結果

リサーチクエスチョン

• RQ1 ヒルバート空間内での幾何学的中央値推定に用いられる平均化された確率的勾配アルゴリズムの非漸近的収束速度は何か？
• RQ2 無限次元空間内での非線形かつ再帰的確率的アルゴリズムにおけるマルティングール項に対して、指数的尾部境界を確立できるか？
• RQ3 オンライン幾何学的中央値推定器の有限標本における逸脱挙動は何か？
• RQ4 明示的かつ非漸近的な確率的保証を持つ、再帰的推定器のための信頼球をどのように構築できるか？
• RQ5 改善された $L^2$ 速度と集中不等式は、高次元または関数データにおけるオンライン幾何学的中央値推定の信頼性をどの程度向上させるか？

主な発見

• 平均化された確率的勾配推定器 $\overline{Z}_n$ は、$\alpha < 1$ に対して $\mathbb{E}[\|\overline{Z}_n - m\|^2] \leq C' n^{-\alpha}$ の $L^2$ 収束速度を達成し、以前の結果を改善する。
• ヒルバート空間内での準マルティングール列に対する新しい指数不等式により、高い確率での逸脱制御が可能となり、$\mathbb{P}(\|\widehat{M}_{n+1}\|/n \geq t) \leq 2\exp[-t^2 / (2(\sigma_n'^2 + N_n't/6))]$ が成立する。
• 半径 $t_n = \mathcal{O}(\sqrt{\log(1/\delta)/n})$ の非漸近的信頼球が構築され、$\mathbb{P}(\|\overline{Z}_n - m\| \geq t_n) \leq \delta$ を満たす。
• 逸脱バウンドの主な項はマルティングール集中であり、バイアスおよび高階項はそれぞれ $\mathcal{O}(n^{-1 + \alpha/2})$、$\mathcal{O}(n^{-\alpha})$、$\mathcal{O}(n^{-1})$ の速度で減少する。
• 信頼球の半径は $\mathcal{O}(\sqrt{\log(1/\delta)/n})$ のスケーリングを示しており、再帰的推定器の近似パラメトリック集中を示している。
• 結果は、有限標本保証を伴う、関数的および高次元データにおけるロバストな幾何学的中央値推定のオンライン再帰的アルゴリズムの有効性を裏付けている。