[論文レビュー] On Scalable Inference with Stochastic Gradient Descent

Yixin Fang, Jinfeng Xu+1 more|arXiv (Cornell University)|Jul 1, 2017

Stochastic Gradient Optimization Techniques参考文献 5被引用数 5

ひとこと要約

本稿では、大規模データセット向けの統計的推論における確率的勾配降下法（SGD）に対して、スケーラブルで摂動に基づくリサンプリング手法を提案する。この手法により、区間推定および信頼領域の構築が可能となり、行列の逆行列計算や全データセットからのリサンプリングを必要としないため、オンラインおよびビッグデータ環境に適している。

ABSTRACT

In many applications involving large dataset or online updating, stochastic gradient descent (SGD) provides a scalable way to compute parameter estimates and has gained increasing popularity due to its numerical convenience and memory efficiency. While the asymptotic properties of SGD-based estimators have been established decades ago, statistical inference such as interval estimation remains much unexplored. The traditional resampling method such as the bootstrap is not computationally feasible since it requires to repeatedly draw independent samples from the entire dataset. The plug-in method is not applicable when there are no explicit formulas for the covariance matrix of the estimator. In this paper, we propose a scalable inferential procedure for stochastic gradient descent, which, upon the arrival of each observation, updates the SGD estimate as well as a large number of randomly perturbed SGD estimates. The proposed method is easy to implement in practice. We establish its theoretical properties for a general class of models that includes generalized linear models and quantile regression models as special cases. The finite-sample performance and numerical utility is evaluated by simulation studies and two real data applications.

研究の動機と目的

• 大規模およびオンラインデータ環境における確率的勾配降下法（SGD）推定量のためのスケーラブルな統計的推論手法の不足に対処すること。
• 全データリサンプリングや明示的な共分散行列の計算を要するため、従来のブートストラップ法やプラグイン法が計算的に非現実的である問題を克服すること。
• SGDに基づくパrameter推定量の信頼区間および信頼領域を構築するための計算効率が高く、オンライン対応可能な手順を開発すること。
• 一般のM推定量フレームワーク（一般化線形モデルや分位数回帰を含む）において、提案手法の漸近的有効性を理論的に裏付けること。
• シミュレーションおよび実データ応用を通じて、手法の有限標本性能と実用的有用性を示すこと。

提案手法

• 本手法は、各新しい観測値が得られる度に、主なSGD推定量と多数の独立した摂動を施した推定量を再帰的に更新する摂動リサンプリング方式を導入する。
• 摂動は、勾配更新に適用される独立同分布の確率変数（例：ラデマッハまたはガウス分布）によって生成され、摂動推定量の分布が得られる。
• 摂動推定量の実現分布を用いて、SGD推定量の標本分布を近似し、区間推定および信頼領域の構築が可能になる。
• 本手法は再帰的更新ルールに依存している：$\widehat{\theta}^{*}_{n} = \widehat{\theta}^{*}_{n-1} - \gamma_{n} W_{n} \nabla l(\widehat{\theta}^{*}_{n-1}; Z_{n})$、ここで$W_n$は確率的摂動である。
• 理論的裏付けはマルティンゲール差分過程と漸近正規性に基づき、摂動平均$\overline{\theta}^{*}_{n}$が真のパrameterを中心とする正規分布に分布収束することを示している。
• 本手法は明示的な行列の逆行列計算を回避し、全データセットの保存も不要であるため、ストリーミングデータやメモリ制限のある環境に適している。

実験結果

リサーチクエスチョン

• RQ1 全データリサンプリングに依存しない、スケーラブルでオンライン対応可能な統計的推論手法（例：信頼区間）を、確率的勾配降下法において開発可能か？
• RQ2 従来のブートストラップ法が計算的に非現実的である高次元または大規模設定において、SGD推定量の漸近的分布を一貫的に近似する方法は何か？
• RQ3 摂動ベースのリサンプリングアプローチは、一般化線形モデルおよび分位数回帰モデルにおけるSGD推定量の有効な信頼領域を提供するか？
• RQ4 バッチメーンズ法と比較して、本手法は分散推定の精度および計算効率において優れているか？
• RQ5 複雑な依存構造を有する実世界のデータ応用において、本手法は良好な有限標本性能を維持できるか？

主な発見

• 提案された摂動ベースのリサンプリング手法は、一般のM推定量モデル（一般化線形モデルおよび分位数回帰を含む）において、SGD推定量の漸近的有効な推論を提供する。
• 本手法は、摂動平均推定量$\overline{\theta}^{*}_{n}$が真のパrameter$\theta_0$を中心とし、共分散$A^{-1}SA^{-1}$を持つ正規分布に分布収束することを示すことで理論的有効性を裏付ける。これは、真のSGD推定量の漸近的分布と一致する。
• 有限標本シミュレーションでは、本手法が信頼区間に対して正確な被覆確率を提供しており、分散を系統的に低く見積もるバッチメーンズ法を上回っていることが示された。
• 本手法は計算的に効率的であり、全データセットの保存を必要としないため、オンラインおよびストリーミングデータ応用に適している。
• 実データ応用により、大規模回帰モデルにおける信頼領域を信頼性高く構築できることが確認された。
• 理論的分析により、摂動によって生じる誤差項が漸近的に消えることが確認され、リサンプリング分布の一致性および漸近正規性が保証された。