[論文レビュー] Asymptotic and finite-sample properties of estimators based on stochastic gradients

Toulis, Panos, Airoldi, Edoardo M.|arXiv (Cornell University)|Aug 13, 2014

Stochastic Gradient Optimization Techniques参考文献 82被引用数 8

ひとこと要約

本稿では、標準的な確率的勾配降下法（SGD）の数値的不安定性を解消する、数値的に安定した代替手法としての暗黙的確率的勾配降下法（implicit SGD）を提案する。この手法は、観測されたフィッシャー情報量を用いて更新を暗黙的に縮小することで、学習率の誤設定に対してより頑健になる。著者らは、正確な漸近的分散と有限標本における誤差バウンドを導出し、暗黙的SGDが明示的SGDと同等の統計的効率性を達成するとともに、実際の応用においてははるかに高い安定性を示すことを示している。

ABSTRACT

Stochastic gradient descent procedures have gained popularity for parameter estimation from large data sets. However, their statistical properties are not well understood, in theory. And in practice, avoiding numerical instability requires careful tuning of key parameters. Here, we introduce implicit stochastic gradient descent procedures, which involve parameter updates that are implicitly defined. Intuitively, implicit updates shrink standard stochastic gradient descent updates. The amount of shrinkage depends on the observed Fisher information matrix, which does not need to be explicitly computed; thus, implicit procedures increase stability without increasing the computational burden. Our theoretical analysis provides the first full characterization of the asymptotic behavior of both standard and implicit stochastic gradient descent-based estimators, including finite-sample error bounds. Importantly, analytical expressions for the variances of these stochastic gradient-based estimators reveal their exact loss of efficiency. We also develop new algorithms to compute implicit stochastic gradient descent-based estimators for generalized linear models, Cox proportional hazards, M-estimators, in practice, and perform extensive experiments. Our results suggest that implicit stochastic gradient descent procedures are poised to become a workhorse for approximate inference from large data sets

研究の動機と目的

• 大規模な統計的推定における標準的確率的勾配降下法（SGD）の数値的不安定性に対処すること。
• 統計的効率性を維持しつつ、理論的に根拠のある安定な明示的SGDの代替手法を開発すること。
• 明示的および暗黙的SGD手順の両方について、有限標本における誤差バウンドと漸近的分散の表現を導出すること。
• 暗黙的SGDの実用的適用性と頑健性を、一般化線形モデル、コックス比例ハザードモデル、およびM推定量の文脈で示すこと。

提案手法

• パラメータの更新が勾配と学習率を含む固定点方程式によって暗黙的に定義される暗黙的SGDを提案する。
• ベイズ的解釈を用いて、暗黙的更新を学習率に比例する精度を持つ正規事前分布下での事後モードとして定式化する。
• マルティングールおよび集中不等式を用いて、暗黙的SGD推定値の有限標本における平均二乗誤差バウンドを導出する。
• マルティングール中心極限定理を用いて、明示的および暗黙的SGDの両方について漸近的正規性と正確な漸近的分散表現を確立する。
• 指数型分布族モデルにおける暗黙的更新の効率的計算のためのアルゴリズム1を構築。ニュートン・ラプソンに類似した固定点反復を活用する。
• 一般化線形モデル、コックス比例ハザードモデル、およびM推定への応用を実施。非指数型分布族モデルには、特化した計算戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 暗黙的SGDの有限標本的および漸近的性質は、標準的な明示的SGDと比べてどのように異なるか？
• RQ2 暗黙的SGDの正確な漸近的分散は何か？ また、統計的効率性およびフィッシャー情報量とどのように関係するか？
• RQ3 追加の計算コストを負担せずに、実用的に暗黙的SGDを効率的に計算できるか？
• RQ4 明示的SGDと比較して、暗黙的SGDは学習率の誤設定に対してどれほど頑健か？
• RQ5 勾配が標準的な仮定を満たさないモデル、例えば非指数型分布族モデルに対しても、暗黙的SGDを拡張できるか？

主な発見

• 暗黙的SGDは明示的SGDと同等の漸近的効率性を達成し、正確な漸近的分散は定理2.2で与えられ、観測されたフィッシャー情報行列に依存する。
• 有限標本における平均二乗誤差バウンドが暗黙的SGDについて導出され、同じ学習率スケジュール下で明示的SGDのバウンドよりもきついことが示された。
• 理論的分析により、暗黙的SGDは漸近的に正規分布に従い、真のパラメータを中心に収束することが確認された。
• 暗黙的SGDは優れた数値的安定性を示す：初期条件の影響は指数関数的に速く消えていく。また、学習率の誤設定に対しても頑健である。
• GLM、コックスモデル、およびM推定量における実験により、暗黙的SGDは明示的SGDよりも安定性と収束性に優れ、特に学習率が不適切な場合に顕著に優位であった。
• 暗黙的更新機構による内在的な縮小効果のおかげで、明示的SGDとは異なり、暗黙的SGDでは定数学習率を用いても不安定化を回避できる。