[論文レビュー] Adaptive Step Sizes in Variance Reduction via Regularization

Bingcong Li, Georgios B. Giannakis|arXiv (Cornell University)|Oct 15, 2019

Sparse and Compressive Sensing Techniques参考文献 40被引用数 5

ひとこと要約

本稿では、通常は強い凸性を要するが、凸および非凸な有限和最適化問題においてもBarzilai-Borwein (BB) ステップサイズを可能にする正則化に基づくアプローチを提案する。単純な二次正則化子を追加することで、元の問題が強い凸性を持つ代替問題に変換され、BB ステップサイズが安全かつ効果的に適用可能となり、vanilla SARAH や他の適応的手法と比較して、収束複雑度と実験的性能が向上する。

ABSTRACT

The main goal of this work is equipping convex and nonconvex problems with Barzilai-Borwein (BB) step size. With the adaptivity of BB step sizes granted, they can fail when the objective function is not strongly convex. To overcome this challenge, the key idea here is to bridge (non)convex problems and strongly convex ones via regularization. The proposed regularization schemes are extit{simple} yet effective. Wedding the BB step size with a variance reduction method, known as SARAH, offers a free lunch compared with vanilla SARAH in convex problems. The convergence of BB step sizes in nonconvex problems is also established and its complexity is no worse than other adaptive step sizes such as AdaGrad. As a byproduct, our regularized SARAH methods for convex functions ensure that the complexity to find $\mathbb{E}[\| abla f(\mathbf{x}) \|^2]\leq ε$ is ${\cal O}\big( (n+\frac{1}{\sqrtε})\ln{\frac{1}ε}\big)$, improving $ε$ dependence over existing results. Numerical tests further validate the merits of proposed approaches.

研究の動機と目的

• Barzilai-Borwein (BB) ステップサイズは強い凸性を要するが、一般の凸または非凸設定では失敗するという制限を解決する。
• 正則化を用いて非凸および凸問題を強い凸問題に変換し、BB ステップサイズの適用を可能にする。
• SARAH などのバリアンス低減法の収束複雑度を、特に ε 依存性の観点から凸設定で改善する。
• AdaGrad などの適応的手法と同等の理論的収束保証を、非凸問題における BB ステップサイズに対して確立する。
• ロジスティック回帰および非凸損失関数における数値実験を通じて、提案手法の実験的妥当性を検証する。

提案手法

• 目的関数に μs(x − x̃s−1) を加える再帰的二次正則化スキームを導入し、強い凸性を持つ代替問題に変換する。
• 正則化関数 f̃s(x) = f(x) + ½μs‖x − x̃s−1‖² に BB ステップサイズを適用し、定義が明確で安定したステップサイズを保証する。
• SARAH アルゴリズムをバリアンス低減法のベースとし、正則化された部分問題に BB ステップサイズを適応させる。
• 代替関数の勾配ノルムに基づいて、正則化パラメータ μs の再帰的更新ルールを導出する。
• 前回の正則化部分問題で計算されたフル勾配を再利用する効率的なスキームを実装し、重複評価を回避する。
• 凸および非凸ケースの両方について収束複雑度の上限を確立し、先行研究と比較して改善された ε 依存性を示す。

実験結果

リサーチクエスチョン

• RQ1 強い凸性を要しない凸および非凸な有限和問題において、BB ステップサイズを効果的に適用できるか？
• RQ2 一般の（非）凸問題を強い凸問題に変換するための正則化戦略として、どのような手法が有効か？
• RQ3 凸設定において、BB-SARAH の収束複雑度は、vanilla SARAH や AdaGrad などの他の適応的手法と比較してどのように異なるか？
• RQ4 提案された正則化のもとで、非凸有限和問題における BB ステップサイズの理論的収束挙動はいかなるものか？
• RQ5 提案手法は、ベースラインの SARAH や AdaGrad や改変版 BB-SARAH よりも優れた実験的性能を達成できるか？

主な発見

• 提案された正則化 SARAH 法は、凸問題において E[‖∇f(x)‖²] ≤ ε を満たす解を得る収束複雑度 O((n + 1/√ε) ln(1/ε)) を達成し、既存の結果と比較して ε 依存性が改善されている。
• 凸問題において、正則化付き BB ステップサイズは、vanilla SARAH と同等の追加コストなしに適用可能であり、収束速度の観点で「無料の特典」となる。
• 非凸問題において、提案手法 BB-SARAH の収束複雑度は AdaGrad と同等であり、他の適応的ステップサイズと比較して悪化しない。
• a3a データセットにおける数値結果から、特に Alg. 3 v2 の正則化スキームが、凸および非凸設定の両方で vanilla SARAH を顕著に上回ることが示された。
• Ma 他 (2018) の改変 BB ステップサイズおよび AdaGrad は初期段階で速やかに収束するが、最終収束段階では提案手法に劣ることが確認された。
• 実装戦略では、前回の部分問題で得たフル勾配を再利用することで、計算オーバーヘッドを低減し、効率的な再帰的更新を実現した。