[論文レビュー] Estimating the geometric median in Hilbert spaces with stochastic gradient algorithms: $L^{p}$ and almost sure rates of convergence

Antoine Godichon|arXiv (Cornell University)|Apr 9, 2015

Statistical Methods and Inference参考文献 16被引用数 5

ひとこと要約

本稿は、分離可能なヒルバート空間における幾何学的中央値の推定に向けた確率的勾配アルゴリズムの $L^p$ 収束速度およびほとんど確実な収束速度を確立する。ロビンズ＝モンローのアルゴリズムに対して最適な $L^p$ 速度を導出し、それらを用いて標準的および平均化されたアルゴリズムのほとんど確実な収束速度を導出する。これは、関数的データおよび高次元データの設定において、一貫性および2次モーメント収束に関する先行研究を拡張するものである。

ABSTRACT

The geometric median, also called $L^{1}$-median, is often used in robust statistics. Moreover, it is more and more usual to deal with large samples taking values in high dimensional spaces. In this context, a fast recursive estimator has been introduced by Cardot, Cenac and Zitt. This work aims at studying more precisely the asymptotic behavior of the estimators of the geometric median based on such non linear stochastic gradient algorithms. The $L^{p}$ rates of convergence as well as almost sure rates of convergence of these estimators are derived in general separable Hilbert spaces. Moreover, the optimal rate of convergence in quadratic mean of the averaged algorithm is also given.

研究の動機と目的

• 高次元および関数的データの設定における幾何的中央値推定のための確率的勾配アルゴリズムの漸近的挙動をより深く理解すること。
• 一般の分離可能なヒルバート空間におけるロビンズ＝モンローのアルゴリズムの $L^p$ 収束速度を導出すること。
• 平均化された確率的勾配アルゴリズムの最適な2次モーメント収束速度を確立すること。
• ボレル＝カンテリの補題やマルティンゲールの大数の法則といった確率的道具を用いて、標準的および平均化されたアルゴリズムのほとんど確実な収束速度を導出すること。
• 理論的保証を一貫性の範囲を越えて、非漸近的かつパスごとの収束挙動を含むロバスト統計的推定にまで拡張すること。

提案手法

• ステップサイズ $\gamma_n = c n^{-\alpha}$, $\alpha \in (1/2, 1)$ を用いたロビンズ＝モンローの確率的勾配アルゴリズムを、ヒルバート空間内での幾何的中央値を再帰的に推定するために用いる。
• 推定誤差 $\|Z_n - m\|$ の $L^p$ モーメントバウンドを適用し、ロビンズ＝モンローのアルゴリズムの $L^p$ 収束速度を導出する。
• ボレル＝カンテリの補題を用いてモーメントバウンドをほとんど確実な収束速度に変換し、すべての $\beta' < \alpha$ に対して $\|Z_n - m\| = O(n^{-\beta'/2})$ a.s. を示す。
• 再帰的更新の構造を活用して、平均化されたアルゴリズム $\overline{Z}_n$ をマルティンゲール項とバイアス項に分解して分析する。
• ヒルバート空間におけるマルティンゲールの大数の法則を適用し、すべての $\delta > 0$ に対して $\frac{1}{n}\sum_{k=1}^n \xi_{k+1} = o\left(\frac{\ln^{(1+\delta)/2} n}{\sqrt{n}}\right)$ a.s. を示す。
• カーデォ・エー・アラ・トゥール（2015）が得た最適な2次モーメント収束速度を基盤として、平均化推定量の $L^p$ およびほとんど確実な収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 分離可能なヒルバート空間における幾何的中央値推定のためのロビンズ＝モンローのアルゴリズムの $L^p$ 収束速度は何か？
• RQ2 平均化された確率的勾配アルゴリズムの最適な2次モーメント収束速度は何か？
• RQ3 標準的および平均化された確率的勾配アルゴリズムのほとんど確実な収束速度は何か？
• RQ4 ロビンズ＝モンローのアルゴリズムの $L^p$ 速度は、平均化推定量のほとんど確実な挙動にどのように寄与するか？
• RQ5 ヒルバート空間におけるマルティンゲールの大数の法則を用いて、平均化アルゴリズムのほとんど確実な収束速度を導出できるか？

主な発見

• ロビンズ＝モンローのアルゴリズムは、任意の $\beta' < \alpha$ に対して $\mathbb{E}[\|Z_n - m\|^p] = O(n^{-p(\alpha - \beta')})$ の $L^p$ 収束速度を達成する。ここで $\alpha \in (1/2, 1)$ である。
• ロビンズ＝モンローのアルゴリズムのほとんど確実な収束速度は、すべての $\beta' < \alpha$ に対して $\|Z_n - m\| = O(n^{-\beta'/2})$ a.s. であり、$\alpha > \beta' > 2\alpha - 1$ を満たす。
• 平均化アルゴリズム $\overline{Z}_n$ は、$\alpha > \beta > 1/2$ を満たすすべての $\beta$ に対して、$\|\overline{Z}_n - m\| = o(n^{-\beta/2})$ a.s. の速度でほとんど確実に収束する。
• 平均化アルゴリズムの最適な2次モーメント収束速度は $\mathbb{E}[\|\overline{Z}_n - m\|^2] = O(n^{-\alpha})$ であり、文献で知られている最良のレートと一致する。
• 平均化アルゴリズムにおけるマルティンゲール差分項 $\sum_{k=1}^n \xi_{k+1}$ は、すべての $\delta > 0$ に対して $\frac{1}{n}\sum_{k=1}^n \xi_{k+1} = o\left(\frac{\ln^{(1+\delta)/2} n}{\sqrt{n}}\right)$ a.s. を満たす。
• 証明フレームワークは、正規化されたマルティンゲール増分のほとんど確実な収束を確認することで、ヒルバート空間へのマルティンゲールの大数の法則を拡張する。