[論文レビュー] Asymptotic Optimality of Conditioned Stochastic Gradient Descent

Rémi Leluc, François Portier|arXiv (Cornell University)|Jun 4, 2020

Stochastic Gradient Optimization Techniques参考文献 75被引用数 5

ひとこと要約

本稿では、勾配方向を適応的行列で前処理するSGDの変種である条件付き確率的勾配降下法（SGD）を提案する。弱い仮定—L-スムーズ性およびノイズ増大条件—の下で、確実収束および漸近正規性を証明し、収束時に逆ヘッセ行列を推定する条件付き行列が最適性を達成することを示す。

ABSTRACT

In this paper, we investigate a general class of stochastic gradient descent (SGD) algorithms, called conditioned SGD, based on a preconditioning of the gradient direction. Under some mild assumptions, namely the $L$-smoothness of the non-convex objective function and some weak growth condition on the noise, we establish the almost sure convergence and the asymptotic normality for a broad class of conditioning matrices. In particular, when the conditioning matrix is an estimate of the inverse Hessian at the optimal point, the algorithm is proved to be asymptotically optimal. The benefits of this approach are validated on simulated and real datasets.

研究の動機と目的

• 勾配の前処理を通じて収束性と効率性を向上させる一般化された確率的勾配降下法のクラスを開発すること。
• 目的関数およびノイズに関する弱い仮定の下で、条件付きSGDの収束挙動を分析すること。
• 反復点の漸近正規性を確立することにより、非凸最適化における統計的推論を支援すること。
• 最適点における逆ヘッセ行列の推定値を用いた勾配の前処理が、非凸設定において漸近的最適性を達成することを示すこと。

提案手法

• 時間変動する行列による勾配方向の前処理を施す一般化された条件付きSGDのフレームワークを導入する。
• 適応的に更新可能な条件付き行列を採用し、最適点における逆ヘッセ行列の推定に重点を置く。
• 目的関数のL-スムーズ性およびノイズの弱い増大条件に依存して、安定性と収束性を保証する。
• マルティングル・ディファレンス列および確率的近似理論を用いて、確実収束を分析する。
• 中心極限定理の議論を適用して、パラメータ推定値の漸近正規性を確立する。
• シミュレートされたデータおよび実データの両方で実験的に検証し、実用的利点を示す。

実験結果

リサーチクエスチョン

• RQ1 条件付きSGDは、どのような条件下で確実に停留点に収束するか？
• RQ2 弱い正則性仮定の下で、条件付きSGDは漸近正規性を達成できるか？
• RQ3 最適点における逆ヘッセ行列の推定値を用いた勾配の前処理は、非凸設定で漸近的最適性を達成するか？
• RQ4 条件付き行列の選択が収束速度および統計的効率性にどのように影響するか？
• RQ5 確率的最適化におけるヘッセ行列に基づく前処理の理論的裏付けは何か？

主な発見

• 条件付きSGDは、L-スムーズ性および弱いノイズ増大条件の下で、確実に停留点に収束する。
• 条件付きSGDの反復点は漸近的に正規分布に従い、非凸最適化における統計的推論を可能にする。
• 条件付き行列が最適点における逆ヘッセ行列を推定する場合、アルゴリズムは漸近的最適性を達成する。
• 理論的保証は、ヘッセ行列の近似に限らない広範な種類の条件付き行列に対して成り立つ。
• シミュレートされたデータおよび実データにおける実験結果から、収束性と安定性の向上が確認された。
• 強固な理論的裏付けを持つ、適応的確率的最適化の原理的フレームワークを提供する。