[論文レビュー] Sequential convergence of AdaGrad algorithm for smooth convex optimization

Cheik Traoré, Edouard Pauwels|arXiv (Cornell University)|Nov 24, 2020

Sparse and Compressive Sensing Techniques参考文献 25被引用数 32

ひとこと要約

本論文は、AdaGradのスカラー steps と座標ごと更新の両方の変種が、リプシッツ勾配を持つ凸関数に適用された場合に反復が収束することを、可変計量の準Fejér単調性を確立することによって証明する。結果は、有界な領域を要しないことを前提としてグローバル最小点への収束を示す。

ABSTRACT

We prove that the iterates produced by, either the scalar step size variant, or the coordinatewise variant of AdaGrad algorithm, are convergent sequences when applied to convex objective functions with Lipschitz gradient. The key insight is to remark that such AdaGrad sequences satisfy a variable metric quasi-Fej\\'er monotonicity property, which allows to prove convergence.

研究の動機と目的

• 凸最適化における適応的勾配法の収束性についての研究を動機づける。
• Lipschitz勾配と最小点達成を前提として、AdaGradの変種がグローバル最小点へ収束する反復を生じることを確立する。
• 収束を証明するために、可変計量の準Fejér単調性を導入・活用する。

提案手法

• スカラー步幅を用いる AdaGrad-Norm と座標ごとに更新する AdaGrad の2つの変種を分析する。
• 両方の列が有界であり、最小化点集合に対して可変計量の準Fejér単調性性質を満たすことを示す。
• L-Lipschitz勾配の降下補題と勾配ノルムの境界を蓄積することにより収束を証明する。
• 勾配ノルムの総和性を証明し、反復が最小化点へ収束することを導く。

実験結果

リサーチクエスチョン

• RQ1 F が Lipschitz 勾配を有し最小値を達成する場合、AdaGrad-Norm および座標ごと更新の AdaGrad は収束列を生じるか？
• RQ2 有界領域の仮定なしに、可変計量の準Fejér単調性を用いて適応勾配法の反復収束を確立できるか？

主な発見

• AdaGrad-Norm と AdaGrad は収束列を生じ、F のグローバル最小解へ収束する。
• 与えられた仮定の下で勾配ノルムの和が収束可能であり、反復の収束を意味する。
• いくつかの既存結果とは異なり、有界領域の仮定を必要としない。
• AdaGrad の座標ごと版も同じ枠組みで収束する。
• 可変計量の準Fejér単調性と関連するLyapunov様制御によって収束が確立される。
• 本結果は Lipschitz 勾配を持つ凸関数と最小点達成を保証する場合に有効である。