[論文レビュー] Implicit stochastic gradient descent for principled estimation with large datasets

Panos Toulis, Edoardo M. Airoldi|arXiv (Cornell University)|Aug 13, 2014

Stochastic Gradient Optimization Techniques参考文献 59被引用数 6

ひとこと要約

本稿では、観測されたフィッシャー情報に基づく縮小機構を用いて反復更新を暗黙的に定義する、大規模データセット向けのロバストな推定手法である暗黙的確率的勾配降下法（ISGD）を導入する。ISGDは、手動での学習率チューニングの必要性を排除し、明示的確率的勾配降下法と比較して、特に一般化線形モデルおよび指数型分布族モデルにおいて、優れた安定性と効率性を達成する。また、バイアス、分散、効率損失に関する理論的保証も与える。

ABSTRACT

Efficient optimization procedures, such as stochastic gradient descent, have been gaining popularity for estimation tasks with large amounts of data. In this paper, we introduce an implicit stochastic gradient descent estimation procedure that ameliorates the procedures derived from stochastic approximations a la Robbins & Monro (1951), termed explicit for contrast, by using iterates that are implicitly defined. The implicit iterates are shrinked versions of the explicit iterates, and it can be shown that the amount of shrinkage depends on the observed Fisher information, but this latter quantity needs not be directly computed. The implicit procedure is thus robust to the choice of a scalar hyper-parameter in stochastic gradient descent, known as the learning rate, that affects its asymptotic statistical properties. In contrast, the explicit procedure requires the learning rate to agree with the eigenvalues of the Fisher information matrix of the underlying model parameters in order to be stable. In the context of generalized linear models, we derive analytic formulas for the asymptotic bias and variance of both procedures as estimation methods, and quantify their efficiency loss compared to maximum likelihood. We also show how loss in efficiency can be avoided through careful choice of the parameterization. Our analysis naturally extends to exponential family models, and to a general class of estimation methods through Monte-Carlo stochastic gradient descent, in problems where the likelihood is hard to compute but where it is easy to sample from the underlying model. We demonstrate our theory in an extensive set of experiments involving real and simulated data. Implicit stochastic gradient descent compares favorably to other popular estimation methods, and it is a superior form of stochastic gradient descent when it can be implemented efficiently. 1 ar

研究の動機と目的

• 大規模推定タスクにおける明示的確率的勾配降下法の不安定さと学習率への感受性を解消すること。
• ハイパーパramータの正確なチューニングを必要としない、原理的根拠のある推定手順の開発。
• 暗黙的更新が自然にフィッシャー情報を組み込むことにより、ロバスト性と改善された漸近的性質が得られることの証明。
• 尤度が計算不能な場合に適応可能な、指数型分布族モデルおよびモンテカルロ確率的勾配降下法へのフレームワークの拡張。
• ISGDのバイアス、分散、効率性の面での標準的確率的勾配降下法に対する優位性を理論的および実験的に検証すること。

提案手法

• 各反復が固定点方程式を介して暗黙的に定義される、明示的な学習率依存性を避ける暗黙的更新ルールの提案。
• フィッシャー情報を明示的に計算せずに、観測されたフィッシャー情報に基づいて更新をスケーリングする縮小機構の使用。
• 一般化線形モデルにおけるISGDと明示的SGDの漸近的バイアスおよび分散の解析的表現の導出。
• 暗黙的手法の縮小効果が、特に学習率が不適切に設定された場合でも収束を安定化させることの証明。
• スコア関数の近似にモンテカルロサンプリングを用いることで、尤度が計算不能なモデルに対しても手法を拡張。
• 適切なパrameterizationにより、ISGDにおける効率損失を回避でき、最尤推定と漸近的に同等の性能を達成できることの示唆。

実験結果

リサーチクエスチョン

• RQ1 暗黙的確率的勾配降下法は、大規模推定において明示的確率的勾配降下法と比較して、どのように安定性を向上させるか？
• RQ2 確率的最適化の文脈において、暗黙的更新とフィッシャー情報の理論的関係は何か？
• RQ3 一般化線形モデルにおいて、ISGDは明示的SGDと比較して、どれほどバイアスと分散を低減するか？
• RQ4 ISGDは最尤推定に近い効率性を達成できるか、またその条件はどのようなパrameterizationに依存するか？
• RQ5 尤度が計算不能なモデルにおいてISGDはどのように性能を発揮するか、またモンテカルロ近似がその統計的利点を保持できるか？

主な発見

• 暗黙的確率的勾配降下法は、更新が観測されたフィッシャー情報に自然にスケーリングされるため、学習率の選択に対する感受性が低く、優れた安定性を示す。
• ISGDの漸近的バイアスおよび分散は解析的に導出され、特に学習率が最適でない場合に、明示的SGDよりも好ましい性質を示すことが確認された。
• 適切なパrameterizationにより、最尤推定との効率損失を回避でき、ISGDは漸近的に効率的である。
• 一般化線形モデルにおいて、さまざまな学習率設定下でISGDは明示的SGDよりも低い平均二乗誤差を達成する。
• 本手法は指数型分布族モデルおよびモンテカルロ確率的勾配降下法へ自然に拡張可能であり、尤度が計算不能な場合でもロバスト性を維持する。
• 実データおよびシミュレートデータを用いた実験結果から、ISGDは収束性および推定精度の面で、標準的確率的勾配降下法および他の代表的な推定手法を上回ることが確認された。