[論文レビュー] Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize

Ryan D'Orazio, Nicolas Loizou+2 more|arXiv (Cornell University)|Oct 28, 2021

Stochastic Gradient Optimization Techniques参考文献 44被引用数 8

ひとこと要約

本稿では、有界勾配や分散の仮定なしに補間下で収束を保証する、確率的ミラー勾配降下法（SMD）向けの適応的ステップサイズ「ミラー確率的ポリャクステップサイズ（mSPS）」を提案する。本稿は、補間下における指数型勾配法の収束保証を初めて確立し、滑らかさおよび相対的滑らかさの両設定において、定常ステップサイズおよび適応的ステップサイズを用いたSMDに対して新たな収束結果を提供する。

ABSTRACT

We investigate the convergence of stochastic mirror descent (SMD) under interpolation in relatively smooth and smooth convex optimization. In relatively smooth convex optimization we provide new convergence guarantees for SMD with a constant stepsize. For smooth convex optimization we propose a new adaptive stepsize scheme -- the mirror stochastic Polyak stepsize (mSPS). Notably, our convergence results in both settings do not make bounded gradient assumptions or bounded variance assumptions, and we show convergence to a neighborhood that vanishes under interpolation. Consequently, these results correspond to the first convergence guarantees under interpolation for the exponentiated gradient algorithm for fixed or adaptive stepsizes. mSPS generalizes the recently proposed stochastic Polyak stepsize (SPS) (Loizou et al. 2021) to mirror descent and remains both practical and efficient for modern machine learning applications while inheriting the benefits of mirror descent. We complement our results with experiments across various supervised learning tasks and different instances of SMD, demonstrating the effectiveness of mSPS.

研究の動機と目的

• 補間下における確率的ミラー勾配降下法（SMD）の収束保証の欠如、特に非ユークリッド設定における課題を解決する。
• 有界勾配や分散の仮定に依存する既存のSMD手法の限界を克服する。
• ステップサイズを適応的に調整可能にし、非ユークリッド幾何構造を反映するように一般化された確率的ポリャクステップサイズ（SPS）をミラー降下法に適用する適応的ステップサイズスキームを開発する。
• 相対的滑らかさおよび滑らかさの両設定においてSMDの収束解析を提供し、補間下では正確な収束を保証する。
• ロジスティック回帰、カーネル法、pノルムを用いた深層学習を含む多様な機械学習タスクにおいて、mSPSの有効性を示す。

提案手法

• 現在の反復点と目的関数値に基づいて動的に調整されるステップサイズを備えた、SMD向けのミラー確率的ポリャクステップサイズ（mSPS）を提案する。
• 制約付き最適化および補間設定に特化した、標準のσ²よりも弱いノイズ仮定である「制約付き有限最適目的関数差分（σ²_X）」を導入する。
• Bregman散発と非ユークリッド射影を組み合わせることで、確率的ポリャクステップサイズ（SPS）フレームワークをミラー降下法に適応する。
• 新しいσ²_X仮定を用いて、相対的滑らかさ下での定常ステップサイズを用いたSMDの収束保証を確立する。
• 滑らかさ下でmSPSの収束を証明し、有界勾配や分散の仮定なしに補間下で最適解への正確な収束を達成する。
• ミラー降下法におけるBregman散発に基づく更新により、最適化の幾何構造を問題の構造と整合させ、高次元または非ユークリッド設定での収束速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 確率的ミラー勾配降下法は、有界勾配や分散の仮定なしに補間下で収束を達成できるか？
• RQ2 確率的ポリャクステップサイズ（SPS）は、ミラー降下法に一般化され、適応的かつ幾何構造に配慮した最適化を可能にするか？
• RQ3 制約付き有限最適目的関数差分（σ²_X）は、相対的滑らかさ最適化における収束保証にどのような影響を与えるか？
• RQ4 提案されたmSPS適応的ステップサイズは、多様な機械学習タスクおよびミラー降下法の変種において、手動でチューニングされた定常ステップサイズを上回る性能を示すか？
• RQ5 mSPSは滑らかさおよび相対的滑らかさの両設定下で、補間下において最適解への正確な収束を保証できるか？

主な発見

• 本稿は、mSPS適応的ステップサイズを用いて、補間下における指数型勾配アルゴリズムの収束保証を初めて確立した。
• mSPSは、滑らかな凸最適化下で補間下に正確に最適解へ収束し、有界勾配や分散の仮定を必要としない。
• 制約付き有限最適目的関数差分（σ²_X）は、σ²よりも弱いノイズ仮定として導入され、制約付き補間設定での収束を可能にする。
• 実験では、mSPSはロジスティック回帰、カーネル法、CIFAR10におけるResNet-34を用いた深層学習において、最良にチューニングされた定常ステップサイズと同等またはそれを上回る性能を示した。
• pノルムを用いた深層学習では、c=0.2およびスムージングを用いたmSPSは、定常ステップサイズよりも著しく高速に収束し、pが小さくなるほど顕著に優位であった。
• mSPSは異なるミラー降下法の変種および問題幾何構造に対してロバストであり、ハイパーパramータチューニングなしに固定のc=1でも強力な性能を示した。