[論文レビュー] Statistical Inference for Model Parameters in Stochastic Gradient Descent

Xi Chen, Jason D. Lee+2 more|arXiv (Cornell University)|Oct 27, 2016

Stochastic Gradient Optimization Techniques参考文献 37被引用数 31

ひとこと要約

本稿は、平均反復の漸近的分散共分散行列の一貫推定量を構築することにより、確率的勾配降下法（SGD）における計算的に効率的な統計的推論のための手法を提案する。プラグイン推定量とバッチ平均推定量を導入し、データの保存を必要とせずに漸近的に有効な信頼区間と仮説検定を可能にするとともに、高次元線形回帰における不偏化されたSGDの変種をさらに開発し、係数推定量の漸近的正規性を達成する。

ABSTRACT

The stochastic gradient descent (SGD) algorithm has been widely used in statistical estimation for large-scale data due to its computational and memory efficiency. While most existing works focus on the convergence of the objective function or the error of the obtained solution, we investigate the problem of statistical inference of true model parameters based on SGD when the population loss function is strongly convex and satisfies certain smoothness conditions. Our main contributions are two-fold. First, in the fixed dimension setup, we propose two consistent estimators of the asymptotic covariance of the average iterate from SGD: (1) a plug-in estimator, and (2) a batch-means estimator, which is computationally more efficient and only uses the iterates from SGD. Both proposed estimators allow us to construct asymptotically exact confidence intervals and hypothesis tests. Second, for high-dimensional linear regression, using a variant of the SGD algorithm, we construct a debiased estimator of each regression coefficient that is asymptotically normal. This gives a one-pass algorithm for computing both the sparse regression coefficients and confidence intervals, which is computationally attractive and applicable to online data.

研究の動機と目的

• 確率的勾配降下法（SGD）によって推定されたモデルパラメータに対する統計的推論（特に信頼区間と仮説検定）を可能にすること。SGDは通常、点推定にのみ使用される。
• 高次元またはストリーミング環境において、SGD反復の漸近的分散共分散行列を推定するオンラインで計算的に効率的な手法の欠如に応えること。
• スパースな係数とその信頼区間を同時に推定できる1パスのアルゴリズムを、高次元線形回帰に対して開発すること。
• 提案された推論手法が、すべての歴史的データや勾配の保存を必要とせずに一貫性があり、漸近的に有効であることを保証すること。

提案手法

• オンラインSGD反復からしきい値を適用したヘッシアン推定量 eAn と勾配ノイズの標本分散共分散推定量 Sn を構築し、漸近的分散共分散行列 A⁻¹SA⁻¹ のプラグイン推定量を提案する。
• すべてのデータを保存する必要がなく、ヘッシアンの逆行列を計算する必要もない、SGD反復の系列のみを用いて分散共分散推定量を計算するバッチ平均推定量を導入する。
• 精密行列の推定に基づく補正項をSGD更新式に追加することで、高次元線形回帰係数の不偏推定量を構築し、漸近的正規性を達成する。
• 反復の安定化と正規分布への収束を保証するため、Polyak-Ruppert平均化（ASGD）を用いる。
• 高次元設定における推定誤差を制御するために、しきい値処理と集中不等式を用いる。特にスパarsity仮定の下で有効である。
• 強い凸性、Lipschitz勾配、およびサブガウスノイズの条件下で、理論的の一貫性および漸近的正規性の結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 全データセットを保存せずに、SGDで推定されたモデルパラメータのための漸近的に有効な信頼区間を構築できるか？
• RQ2 オンラインでメモリ効率の良い方法で、平均SGD反復の漸近的分散共分散行列を推定できるか？
• RQ3 スパarsityを伴う高次元線形回帰において、SGDを拡張して個々の係数の信頼区間を含む有効な推論を可能にできるか？
• RQ4 不偏化されたSGD推定量が漸近的に正規的かつ一貫するための理論的条件は何か？
• RQ5 有限標本における性能と計算効率の観点から、提案された推定量（プラグインとバッチ平均）はどのように比較できるか？

主な発見

• プラグイン推定量とバッチ平均推定量の両方が、漸近的分散共分散行列 A⁻¹SA⁻¹ に対して一貫しており、漸近的に正確な信頼区間と仮説検定を可能にする。
• バッチ平均推定量はプラグイン推定量よりも計算的に効率的であり、ヘッシアンの計算やすべての反復の保存を必要としない。
• 高次元線形回帰において、提案された不偏化されたSGD推定量は漸近的正規性を達成し、スパースな係数とその信頼区間を1パスで計算可能である。
• シミュレーションでは、さまざまな設計（相関係数 r=0.6 や高次元性を含む）においても、信頼区間のカバレッジ率が名目水準（例：95％）に近く、良好な性能を示す。
• 信頼区間の平均長は相関や次元の増加に伴い増加するが、オラクル長に近く保たれるため、有限標本における良好な性能が示された。
• Toeplitz構造および等相関構造の両方で、設計行列の共分散の最小固有値の減少に対しても、手法のロバスト性が示された。