[論文レビュー] ROOT-SGD: Sharp Nonasymptotics and Asymptotic Efficiency in a Single Algorithm.

Chris Junchi Li, Wenlong Mou+2 more|arXiv (Cornell University)|Aug 28, 2020

Stochastic Gradient Optimization Techniques参考文献 64被引用数 6

ひとこと要約

ROOT-SGD は、過去の勾配の再帰的平均化と適応的スケーリングを組み合わせた新しい確率的最適化アルゴリズムであり、鋭い非漸近的収束速度と漸近的に最適なガウス分布的挙動の両方を達成する。弱い分布的仮定のもとで、状態下での分散低減手法と同等の収束速度を達成するとともに、スケーリングされた最終反復が近似的に最適な共分散を持つゼロ平均ガウス分布に収束することを保証する。

ABSTRACT

The theory and practice of stochastic optimization has focused on stochastic gradient descent (SGD) in recent years, retaining the basic first-order stochastic nature of SGD while aiming to improve it via mechanisms such as averaging, momentum, and variance reduction. Improvement can be measured along various dimensions, however, and it has proved difficult to achieve improvements both in terms of nonasymptotic measures of convergence rate and asymptotic measures of distributional tightness. In this work, we consider first-order stochastic optimization from a general statistical point of view, motivating a specific form of recursive averaging of past stochastic gradients. The resulting algorithm, which we refer to as \emph{Recursive One-Over-T SGD} (ROOT-SGD), matches the state-of-the-art convergence rate among online variance-reduced stochastic approximation methods. Moreover, under slightly stronger distributional assumptions, the rescaled last-iterate of ROOT-SGD converges to a zero-mean Gaussian distribution that achieves near-optimal covariance.

研究の動機と目的

• 確率的最適化における非漸近的収束速度と漸近的分布的効率性のギャップを埋める。
• 高速な収束速度とタイトな漸近的分布的極限の両方を達成する1つのアルゴリズムを開発すること。
• 有限標本および漸近的性能を向上させるための確率的勾配に対する再帰的平均化メカニズムを形式化すること。
• 最小限の分布的仮定のもとで収束速度および漸近的正規性に関する理論的保証を確立すること。

提案手法

• アルゴリズムは、1/tの減衰スケジュールを用いて過去の確率的勾配の再帰的平均化を実行する。
• 最終反復にスケーリングを適用するメカニズムを導入し、漸近的正規性を保証する。
• 偏りと分散のトレードオフに重点を置いた統計的視点から、一般の確率的近似理論に基づいて導出される。
• 最適化経路における探索と活用のバランスを取るために、時間に依存するステップサイズを用いる。
• 時間の経過とともに影響が減少する勾配の累積平均を維持し、明示的な分散低減項を必要とせずに分散を低減する。
• 理論的分析にはマルティンググール中央極限定理を用い、スケーリングされた最終反復の漸近的正規性を確立する。

実験結果

リサーチクエスチョン

• RQ1 1つの確率的最適化アルゴリズムが、高速な非漸近的収束と最適な漸近的分布的挙動の両方を達成できるか。
• RQ2 勾配の再帰的平均化が最終反復の収束速度および極限分布に与える影響は何か。
• RQ3 弱い仮定のもとで、アルゴリズムのスケーリングされた最終反復がどのような分布的性質を達成するか。
• RQ4 分散低減手法の収束速度に匹敵しつつ、近似的に最適な漸近的共分散を達成することは可能か。

主な発見

• ROOT-SGD は、オンライン分散低減確率的近似手法の中で、状態下の非漸近的収束速度を達成する。
• やや強い分布的仮定のもとで、ROOT-SGD のスケーリングされた最終反復は、分布収束の意味でゼロ平均ガウス分布に収束する。
• 極限ガウス分布は、近似的に最適な共分散を達成し、Cramér-Rao 下界に近づく。
• アルゴリズムは、標準的な SGD と同等の計算効率を維持しながら、分布的性質を著しく改善する。