[論文レビュー] Direct Runge-Kutta Discretization Achieves Acceleration

Jingzhao Zhang, Aryan Mokhtari+2 more|arXiv (Cornell University)|May 1, 2018

Stochastic Gradient Optimization Techniques参考文献 21被引用数 38

ひとこと要約

本稿では、Nesterovの加速勾配法をモデル化する2階常微分方程式を直接Runge-Kutta離散化する手法を提案し、$s$次Runge-Kutta積分子を用いることで、収束速度$ olinebreak[4]\mathcal{O}(N^{-2s/(s+1)})$を達成する。また、新たな局所的平坦性条件を導入し、低次の積分子と勾配情報のみで$ olinebreak[4]\mathcal{O}(N^{-2})$を上回る高速な収束速度が達成可能となる。この条件は、一般的な機械学習損失関数においても有効であることを検証した。

ABSTRACT

We study gradient-based optimization methods obtained by directly discretizing a second-order ordinary differential equation (ODE) related to the continuous limit of Nesterov's accelerated gradient method. When the function is smooth enough, we show that acceleration can be achieved by a stable discretization of this ODE using standard Runge-Kutta integrators. Specifically, we prove that under Lipschitz-gradient, convexity and order-$(s+2)$ differentiability assumptions, the sequence of iterates generated by discretizing the proposed second-order ODE converges to the optimal solution at a rate of $\mathcal{O}({N^{-2\frac{s}{s+1}}})$, where $s$ is the order of the Runge-Kutta numerical integrator. Furthermore, we introduce a new local flatness condition on the objective, under which rates even faster than $\mathcal{O}(N^{-2})$ can be achieved with low-order integrators and only gradient information. Notably, this flatness condition is satisfied by several standard loss functions used in machine learning. We provide numerical experiments that verify the theoretical rates predicted by our results.

研究の動機と目的

• 最適化における加速の原理的で連続的時間的視点を、常微分方程式を用いて提供すること。
• 逆設計や複雑な積分子に依存する先行研究の限界を克服し、直接離散化を可能にする。
• 2階常微分方程式の安定なRunge-Kutta積分により、保証された収束を有する加速手法を確立すること。
• 高次の積分子を必要とせず、低次の積分子でも超$ olinebreak[4]\mathcal{O}(N^{-2})$の収束速度を達成可能な、新たな局所的平坦性条件を同定すること。
• 標準的な機械学習目的関数における数値実験を通じて、理論的収束速度を検証すること。

提案手法

• 連続解が極限においてNesterovの加速手法に対応する2階常微分方程式を提案する。
• ステップサイズを安定性と収束を保証するように選ぶことで、$s$次Runge-Kutta積分子による常微分方程式の離散化を実施する。
• 最小値付近での曲率の度合いを定量化するパラメータ$p$を用いた、目的関数における新たな局所的平坦性条件を導入する。
• 積分子の次数$s$、平坦性パラメータ$p$、および$f$の滑らかさの間の相互作用に基づき、収束速度を導出する。
• リャプノフ関数とエネルギーに基づく解析を用いて、誤差の減衰をバウンディングし、高次導関数と安定性条件を活用する。
• 数値解析における基本微分と次数条件を用いて、正確な解と数値解の間の誤差バウンディングを確立する。

実験結果

リサーチクエスチョン

• RQ1 2階常微分方程式の直接Runge-Kutta離散化は、凸最適化で加速収束を達成できるか？
• RQ2 提案された常微分方程式に対して$s$次Runge-Kutta積分子を用いる場合、どの程度の収束速度が達成可能か？
• RQ3 目的関数における局所的平坦性条件が、$ olinebreak[4]\mathcal{O}(N^{-2})$を上回る収束速度を可能にするか？
• RQ4 このような加速収束速度は、勾配情報のみと低次の積分子で達成可能か？
• RQ5 安定性と収束保証の観点から、本手法は既存の手法と比較してどのように異なるか？

主な発見

• $s$次Runge-Kutta積分子を用いる場合、収束速度は$\mathcal{O}(N^{-2s/(s+1)})$であり、$s$が増加するにつれて$\mathcal{O}(N^{-2})$に近づく。
• 提案された局所的平坦性条件（パラメータ$p$を用いる）の下では、$\mathcal{O}(N^{-p})$の収束速度が達成可能であり、$p > 2$が低次の積分子でも達成可能である。
• 標準的な機械学習損失関数（例：ロジスティック回帰やニューラルネットワークにおけるもの）は、この平坦性条件を満たす。
• 逆設計や特殊な積分子を必要とせず、標準的なRunge-Kuttaスキームのみで加速を達成する。
• 数値実験により、さまざまな滑らかで平坦な目的関数において、予測された理論的収束速度が確認された。
• 解析により、積分子の安定性と次数条件が十分であることが示され、シンプレクティック性や変分構造の要請は不要であることが明らかになった。