[論文レビュー] The exact worst-case convergence rate of the gradient method with fixed step lengths for L-smooth functions

Hadi Abbaszadehpeivasti, Etienne de Klerk+1 more|arXiv (Cornell University)|Apr 12, 2021

Stochastic Gradient Optimization Techniques参考文献 16被引用数 5

ひとこと要約

本稿は、性能評価問題と半正定値計画法（SDP）を用いて、L-スムーズ関数における固定ステップサイズを用いた勾配法の正確な最悪ケース収束速度を確立する。既存の研究よりも tighter な収束バウンドを導出し、ステップサイズが (0, 1/L] の範囲でそのタイトネスを証明するとともに、バウンドを最小化する最適なステップサイズ tk = √(4/3)/L を特定し、収束速度を 4LΔ/(3N+2) から 4LΔ/(3N+2) に改善し、定数因子を小さくした。

ABSTRACT

In this paper, we study the convergence rate of the gradient (or steepest descent) method with fixed step lengths for finding a stationary point of an $L$-smooth function. We establish a new convergence rate, and show that the bound may be exact in some cases, in particular when all step lengths lie in the interval $(0,1/L]$. In addition, we derive an optimal step length with respect to the new bound.

研究の動機と目的

• L-スムーズ関数における固定ステップサイズを用いた勾配法のよりタイトな最悪ケース収束速度を導出すること。
• 導出された収束バウンドが正確である（タイトである）条件を確立すること。
• 最悪ケース収束バウンドを最小化する最適なステップサイズを特定すること。
• テイラーの予想されたバウンドを形式的証明し、既存の結果を改善すること。

提案手法

• 2次制約を伴う性能評価問題（PEP）として最悪ケース収束速度を定式化する。
• 無限次元最適化問題を解くために半正定値計画法（SDP）の緩和を用いる。
• 不等式 |f(y) − f(x) − ⟨∇f(x), y−x⟩| ≤ (L/2)∥y−x∥² を用いて L-スムーズ関数の特徴づけを適用する。
• 導出されたバウンドに等号が成立する特定の L-スムーズ関数を構築し、ステップサイズが (0, 1/L] の範囲でタイトネスを証明する。
• 微積分と凹性解析を用いて収束バウンドの右辺を最小化することで、最適なステップサイズを導出する。
• 補間条件と行列不等式を用いて、構築された関数が L-スムーズ性および勾配条件を満たすことを保証する。

実験結果

リサーチクエスチョン

• RQ1 固定ステップサイズを用いた勾配法の L-スムーズ関数に対する正確な最悪ケース収束速度は何か？
• RQ2 導出された収束バウンドがタイトまたは正確である条件は何か？
• RQ3 最悪ケース収束バウンドを最小化する最適なステップサイズは何か？
• RQ4 本稿の新しいバウンドは、ネステロフ、テイラー、ドリオらの先行研究と比べてどのように異なるか？

主な発見

• 本稿は新たな収束バウンドを確立した：min₁≤k≤N+1 ‖∇f(xk)‖ ≤ [4Δ / (∑ₖ min(−L²tₖ³ + 4tₖ, −Ltₖ² + 4tₖ) + 2/L)]^(1/2)，ただし tk ∈ (0, √3/L) で有効。
• すべてのステップサイズ tk ∈ (0, 1/L] の場合、等号が成立する L-スムーズ関数を構築することで、バウンドがタイトであることが示された。
• 特別な場合 tk = 1/L の場合、バウンドは [4L(f(x₁)−f⋆)/(3N+2)]^(1/2) に改善され、定数因子が 4/3 ≈ 1.333 から 6√3/8 ≈ 1.299 に小さくなった。
• バウンドを最小化する最適なステップサイズは、すべての k に対して tk = √(4/3)/L であり、これが最もタイトな最悪ケース収束速度をもたらす。
• 本稿はテイラーの予想されたバウンド (4LΔ/(3N))^(1/2) を形式的証明し、それが新しいバウンドの特別な場合であることを示した。
• 著者らは、新しいバウンドが (0, 2/L) のすべてのステップサイズに対して正確に保たれるとの予想を提示している。