[論文レビュー] $L^{p}$ and almost sure rates of convergence of averaged stochastic gradient algorithms with applications to online robust estimation

Antoine Godichon‐Baggioni|arXiv (Cornell University)|Sep 18, 2016

Statistical Methods and Inference参考文献 16被引用数 8

ひとこと要約

本稿は、高次元および関数型空間における平均化された確率的勾配アルゴリズムの一般化された $L^p$ およびほとんど確実な収束速度を確立し、オンラインロバスト推定のための統一的な枠組みを提供する。平均化推定量が、勾配ノイズの凸性およびモーメント条件の下で、標準的な確率的勾配法と比較して改善された収束速度を達成することを示している。

ABSTRACT

It is more and more usual to deal with large samples taking values in high dimensional spaces such as functional spaces. Moreover, many usual estimators are defined as the solution of a convex problem depending on a random variable. In this context, Robbins-Monro algorithms and their averaged versions are good candidate to approximate the solution of these kinds of problem. Indeed, they usually do not need too much computational efforts, do not need to store all the data, which is crucial when we deal with big data, and allow to simply update the estimators, which is interesting when the data arrive sequentially. The aim of this work is to give a general framework which is sufficient to get asymptotic and non asymptotic rates of convergence of stochastic gradient estimates as well as of their averaged versions and to give application to online robust estimation.

研究の動機と目的

• 高次元および関数型データの設定における平均化された確率的勾配アルゴリズムの収束速度を分析するための一般理論的枠組みを構築すること。
• 標準的および平均化された確率的勾配推定量の非漸近的および漸近的 $L^p$ およびほとんど確実な収束速度を確立すること。
• 完全な記憶が不実行な順次データ到着のオンラインロバスト推定問題にこの枠組みを適用すること。
• 弱いモーメントおよび凸性の仮定の下で、平均化が非平均化された確率的勾配法と比較して収束速度を向上させることを示すこと。

提案手法

• 目的関数が確率的凸関数の期待値であるという凸確率的最適化フレームワークを用いて問題を定式化する。
• オンラインデータを用いて反復的に推定量を更新する平均化された確率的勾配アルゴリズム（ASGAs）を適用し、全データの保存を回避する。
• マルティングル・タイプの議論とモーメント不等式を用いて推定誤差のモーメントを分析することで、$L^p$ 収束速度を導出する。
• 反復列のほとんど確実収束とモーメントバウンド、およびボレル＝カンテリ型の議論を組み合わせることで、ほとんど確実な収束速度を確立する。
• 収束を保証するため、勾配ノイズにモーメントバウンドおよび一様可積分性を課す。
• 目的関数の適切な正則性および成長条件を仮定することにより、関数型データおよび高次元空間を扱える一般枠組みを構築する。

実験結果

リサーチクエスチョン

• RQ1 高次元および関数型空間における平均化された確率的勾配アルゴリズムの非漸近的 $L^p$ 収束速度は何か？
• RQ2 同じ条件下で、平均化推定量の収束速度は、標準的確率的勾配推定量と比べてどのように異なるか？
• RQ3 平均化された確率的勾配アルゴリズムのほとんど確実収束が成り立つ、目的関数および勾配ノイズに関する一般条件は何か？
• RQ4 提案された枠組みは、ストリーミングデータと限られたメモリ環境におけるオンラインロバスト推定に適用可能か？

主な発見

• 本稿は、同じモーメント条件の下で、非平均化バージョンよりも速い $L^p$ 収束速度を平均化された確率的勾配推定量に確立している。
• 勾配ノイズの弱いモーメントおよび可積分性条件の下で、平均化推定量のほとんど確実収束が証明されている。
• この枠組みは関数型および高次元空間に適用可能であり、複雑なデータ構造を有する現代のビッグデータ問題に適している。
• 結果から、平均化が推定量の分散低減および安定性向上の観点から収束速度を改善することが示されている。