[論文レビュー] Fast Linear Convergence of Randomized BFGS

Dmitry Kovalev, Robert M. Gower+2 more|arXiv (Cornell University)|Feb 26, 2020

Stochastic Gradient Optimization Techniques参考文献 27被引用数 8

ひとこと要約

本稿は、自己調和的かつ滑らかで強い凸関数に対して、ランダム化BFGS法の最初の意味のある線形収束レートを確立し、勾配降下法よりも著しく速く収束できることを示している。この手法は、ヘッセ行列の情報を効率的に近似するためにランダムスケッチ行列を用い、弱い仮定のもとで高確率で超線形収束を達成する。

ABSTRACT

Since the late 1950's when quasi-Newton methods first appeared, they have become one of the most widely used and efficient algorithmic paradigms for unconstrained optimization. Despite their immense practical success, there is little theory that shows why these methods are so efficient. We provide a semi-local rate of convergence for the randomized BFGS method which can be significantly better than that of gradient descent, finally giving theoretical evidence supporting the superior empirical performance of the method.

研究の動機と目的

• 準ニュートン法（BFGSなど）の経験的成功の理論的裏付けを提供すること。これは、強力な収束速度解析が不足している。
• 勾配降下法よりも速い、明示的に証明可能な線形収束速度を有するランダム化BFGSの変種の局所的線形収束速度を確立すること。
• 特に目的関数の自己調和性を仮定したもとで、ランダム化BFGS法の収束挙動を最小限の仮定のもとで分析すること。
• 方向微分のみを用いてヘッセ行列の近似を効率的に行える、スケッチに基づくフレームワークを構築すること。
• 数値実験を通じて、悪条件問題においても本手法の実用的有効性を示すこと。

提案手法

• ヘッセ行列の近似に、$\tau \ll d$ 列をもつスケッチ行列 $\mathbf{S}_k \sim \mathcal{D}$ を用いるランダム化BFGS更新を提案。
• 逆ヘッセ行列の推定を維持する、ランダム化BFGS更新則 $\mathbf{B}_{k+1} = \text{BFGS}(\mathbf{B}_k, \mathbf{H}_k, \mathbf{S}_k)$ を採用。
• 勾配の $\tau$ 個の方向微分を用いてヘッセスケッチを計算し、低コストでのヘッセ行列近似を実現。
• 関数の非最適性と逆ヘッセ行列誤差を、$\mathbf{H}_*$-条件付きノルムで組み合わせたポテンシャル関数 $\Psi_k$ を導入。
• ある $\rho > 0$ に対して、収縮不等式 $\mathbb{E}[\Psi_{k+1}] \leq (1 - \rho/2)\Psi_k$ を確立。これは線形収束を示唆する。
• 自己調和性および強い凸性のもとで収束速度を導出し、条件数および滑らかさパラメータへの明示的依存関係を特定。

実験結果

リサーチクエスチョン

• RQ1 ランダム化BFGS法は、勾配降下法よりも明示的に速い収束速度を達成できるか？
• RQ2 自己調和性の仮定のもとで、ランダム化BFGS法の局所的収束速度は何か？
• RQ3 ランダムスケッチ行列の使用は、準ニュートン法の収束にどのように影響するか？
• RQ4 ランダム化設定において、ヘッセ行列の条件数に依存せずに収束速度を束縛できるか？
• RQ5 収束速度を達成するために、スケッチ分布 $\mathcal{D}$ が果たす役割は何か？

主な発見

• ランダム化BFGS法は、$\rho > 0$ が滑らかさおよび強い凸性パラメータに依存する線形収束速度 $\mathbb{E}[\Psi_{k+1}] \leq (1 - \rho/2)\Psi_k$ を達成する。
• 収縮係数 $1 - \rho/2$ が勾配降下法のレートよりも著しく小さくなるため、収束速度は勾配降下法よりも厳密に速い。
• 自己調和関数に対して、$L_1, L_2, \mu$ およびスケッチの質に明示的な依存関係をもつ線形収束速度を達成する。
• 最適解へのほとんど確実な収束が成立し、$k \to \infty$ のとき $\sqrt{f(x_k) - f(x_*)} \to 0$ ほぼ確実に成り立つ。
• 数値実験により、特にSVDに基づくスケッチ分布を用いた場合、悪条件問題においても本手法が良好に動作することが示された。
• 理論的分析により、任意のBFGS変種に対して、非漸近的かつ意味のある収束速度が初めて得られ、長年の理論的ギャップが解消された。