[論文レビュー] Online Covariance Matrix Estimation in Stochastic Gradient Descent

Wanrong Zhu, Xi Chen+1 more|arXiv (Cornell University)|Feb 10, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用数 4

ひとこと要約

本稿では、過去のデータを保存せずに、平均化された確率的勾配降下法（ASGD）の反復の共分散行列を完全にオンラインで再帰的に推定する手法を提案する。この手法により、リアルタイムでの統計的推論が可能となり、過去のデータを保存する必要がない。この方法は一貫性を示し、オフライン推定器と同等の最適な収束速度を達成し、新しいデータが到着するたびに信頼区間を動的に更新できる。

ABSTRACT

The stochastic gradient descent (SGD) algorithm is widely used for parameter estimation, especially for huge data sets and online learning. While this recursive algorithm is popular for computation and memory efficiency, quantifying variability and randomness of the solutions has been rarely studied. This paper aims at conducting statistical inference of SGD-based estimates in an online setting. In particular, we propose a fully online estimator for the covariance matrix of averaged SGD iterates (ASGD) only using the iterates from SGD. We formally establish our online estimator's consistency and show that the convergence rate is comparable to offline counterparts. Based on the classic asymptotic normality results of ASGD, we construct asymptotically valid confidence intervals for model parameters. Upon receiving new observations, we can quickly update the covariance matrix estimate and the confidence intervals. This approach fits in an online setting and takes full advantage of SGD: efficiency in computation and memory.

研究の動機と目的

• オンライン確率的勾配降下法（SGD）では計算およびメモリ効率が優れているものの、不確実性の定量化が不足しているという問題に対処する。
• オフラインのデータ保存を一切不要とし、SGDの反復のみを用いてASGDの反復の共分散行列を完全にオンラインで推定する手法を開発する。
• 新しい観測値が到着するたびに信頼区間を動的に更新できる仕組みを提供することで、リアルタイムでの統計的推論を可能にする。
• 推定器の収束速度がオフラインの対応手法と同等になるように保証し、オンライン環境下でも統計的効率性を維持する。
• 標準的な正則性条件の下で、提案されたオンライン共分散推定器の一致性および漸近正規性を形式的に確立する。

提案手法

• SGDの反復の系列のみを用いて、平均化されたSGD（ASGD）の反復の共分散行列の再帰的かつオンライン推定器を提案する。
• ASGDの漸近正規性を活用し、推定された共分散行列に基づいて信頼区間を構築する。
• 分散を低減し収束性を向上させるために、SGDの反復をブロックに分割するブロックベースの推定器を設計する。
• オンライン推論における終了を保証するため、固定幅の逐次停止ルールを用いる。これにより、高い確率で所望の精度を達成できる。
• 推定器のバイアスと分散に関する理論的バウンドを適用し、正則性条件の下で一貫性と収束速度を証明する。
• 推定器の平均二乗誤差が、オフライン手法と同等の速度で減少することを示し、高次元設定下でも最適なスケーリングを達成する。

実験結果

リサーチクエスチョン

• RQ1 ASGDの反復の共分散行列を完全にオンラインで推定できる手法は構築可能か？ その場合、統計的効率性と一貫性を維持できるか？
• RQ2 提案されたオンライン共分散推定器の収束速度は、オフラインの対応手法と比較してどの程度か？
• RQ3 SGDの反復のみを用いて、モデルパラメータの信頼区間をリアルタイムで動的に更新する方法は何か？
• RQ4 どの停止ルールが、計算コストを最小限に抑えながら、オンライン推論における所望の精度を保証するか？
• RQ5 推定器のブロックベース構造は、有限サンプルにおけるバイアスと分散にどのように影響を与えるか？

主な発見

• 提案されたオンライン共分散推定器は、一貫性を示し、平均二乗誤差が $ O(n^{-1/eta} + n^{2eta heta - 2}) $ の速度で減少する。ここで $ \beta $ はブロックサイズを制御するパラメータであり、$ \theta $ はステップサイズの減衰に関連するパラメータである。
• 推定器の収束速度はオフライン手法と同等であり、バイアス項は $ O(n^{eta heta - 1}) $、分散は $ O(n^{-1/eta}) $ の速度で減少する。
• 推定器により、新しいデータが到着するたびに信頼区間を動的に再帰的に更新できる。これにより、リアルタイムでの統計的推論が可能になる。
• シミュレーションの結果、固定幅の逐次停止ルールが、適切な反復回数（例：$ d=20 $ のロジスティック回帰では約45万回）で終了し、カバレッジ確率が名目水準（例：0.84–0.91）に近い値を示すことが分かった。
• 推定器のバイアスは、主にブロック間の共分散に支配され、ブロック間隔が広くなるに従い指数関数的に減少する。このため、ブロックベースの設計は正当化される。
• 理論的分析により、標準的な正則性条件の下で、推定器のバイアスと分散が両方とも制御可能であり、推論の漸近的妥当性が保証される。