[論文レビュー] Implicit stochastic gradient descent

Panos Toulis, Edoardo M. Airoldi|arXiv (Cornell University)|Aug 13, 2014

Stochastic Gradient Optimization Techniques参考文献 84被引用数 3

ひとこと要約

本稿では、大規模パラメータ推定のための数値安定かつ統計的に効率的な最適化手法として、暗黙の確率的勾配降下法（ISGD）を提案する。標準的更新を観測されたフィッシャー情報に基づいて暗黙的に縮小することで、ISGDは安定性と効率性を向上させ、特に平均化と組み合わせた場合に、一般化線形モデル、Coxモデル、M-推定のあらゆる場面で最適な漸近的性質を達成する。

ABSTRACT

Stochastic optimization procedures, such as stochastic gradient descent, have gained popularity for parameter estimation from large data sets. However, standard stochastic optimization procedures cannot effectively combine numerical stability with statistical and computational efficiency. Here, we introduce an implicit stochastic gradient descent procedure, the iterates of which are implicitly defined. Intuitively, implicit iterates shrink the standard iterates. The amount of shrinkage depends on the observed Fisher information matrix, which does not need to be explicitly computed in practice, thus increasing stability without increasing the computational burden. When combined with averaging, the proposed procedure achieves statistical efficiency as well. We derive non-asymptotic bounds and characterize the asymptotic distribution of implicit procedures. Our analysis also reveals the asymptotic variance of a number of existing procedures. We demonstrate implicit stochastic gradient descent by further developing theory for generalized linear models, Cox proportional hazards, and M-estimation problems, and by carrying out extensive experiments. Our results suggest that the implicit stochastic gradient descent procedure is poised to become the workhorse of estimation with large data sets.

研究の動機と目的

• 大規模データセットにおける確率的最適化の数値的安定性と統計的効率性のトレードオフを解消すること。
• 計算コストを増加させることなく安定性を維持する確率的勾配法を開発すること。
• 標準的反復を適応的に縮小する暗黙の更新を通じて統計的効率性を達成すること。
• 提案手法の漸近的分布および非漸近的バインドを特定すること。
• 指数型分布族モデル、生存モデル（Cox）、M-推定問題へとこの手法を一般化すること。

提案手法

• 勾配と観測されたフィッシャー情報行列を含む固定点方程式に基づいて各反復を定義する暗黙の更新ルールを導入する。
• 更新式において観測されたフィッシャー情報行列を明示的に計算せずに暗黙的に用いることで、計算効率を保持する。
• 反復の平均化を適用して統計的効率性を向上させ、分散を低減する。
• 非漸近的リスクバインドを導出し、推定量の漸近的分布を特徴付ける。
• 高曲率領域においてステップサイズを自然に縮小することで、数値的安定性を向上させる暗黙の更新を活用する。
• フレームワークを指数型分布族モデル、生存モデル（Cox）、M-推定問題へと一般化する。

実験結果

リサーチクエスチョン

• RQ1 暗黙の確率的勾配降下法は、大規模推定において数値的安定性と統計的効率性の両方を達成できるか？
• RQ2 観測されたフィッシャー情報に基づく暗黙の更新ルールは、標準的SGDと比較して収束性および分散にどのように影響するか？
• RQ3 さまざまな統計的モデルにおける暗黙推定量の非漸近的および漸近的性質は何か？
• RQ4 平均化は暗黙的手法の効率性をどの程度向上させるか？
• RQ5 一般化線形モデル、Cox比例ハザードモデル、M-推定問題において、実際の性能はいかがなっているか？

主な発見

• 暗黙の確率的勾配降下法は、観測されたフィッシャー情報による局所的曲率に基づく更新の暗黙的縮小により、優れた数値的安定性を達成する。
• フィッシャー情報が更新式で明示的に計算されないため、この手法は計算効率を維持する。
• 平均化と組み合わせることで、ISGDはフル尤度推定量と同等の統計的効率性を達成する。
• 非漸近的リスクバインドが導出され、ややきつい正則性条件のもとで改善された収束性が示された。
• 推定量の漸近的分布が特徴付けられ、このフレームワークを通じて既存手法の漸近的分散が明らかにされた。
• 実証的結果は、一般化線形モデル、Coxモデル、M-推定問題において強力な性能を示しており、大規模推論の標準的ツールとしての可能性を支持する。