[论文解读] Factorial Powers for Stochastic Optimization.

Aaron Defazio, Robert M. Gower|arXiv (Cornell University)|Jun 1, 2020

Stochastic Gradient Optimization Techniques参考文献 16被引用 5

一句话总结

本文引入阶乘幂作为灵活的框架，用于定义随机优化中的优化常数（如步长、动量和李雅普诺夫函数参数）。通过利用阶乘序列的数学性质，该方法简化了收敛性证明，并提高了动量法、加速梯度法和SVRG等方法的收敛速率。

ABSTRACT

The convergence rates for convex and non-convex optimization methods depend on the choice of a host of constants, including step sizes, Lyapunov function constants and momentum constants. In this work we propose the use of factorial powers as a flexible tool for defining constants that appear in convergence proofs. We list a number of remarkable properties that these sequences enjoy, and show how they can be applied to convergence proofs to simplify or improve the convergence rates of the momentum method, accelerated gradient and the stochastic variance reduced method (SVRG).

研究动机与目标

• 解决在随机优化收敛性证明中调优多个常数（步长、动量、李雅普诺夫函数）的复杂性。
• 简化并统一凸与非凸优化方法的收敛速率分析。
• 通过系统推导的阶乘幂序列替代随意的常数选择，改进收敛速率。
• 提供一种可推广的框架，适用于动量法、加速梯度法和SVRG。

提出的方法

• 提出阶乘幂作为定义优化常数的结构化序列，利用其递归与渐近性质。
• 使用基于阶乘的序列来参数化收敛性证明中的步长、动量系数和李雅普诺夫函数常数。
• 将阶乘幂整合到动量法与加速梯度法的分析中，以推导更紧致的收敛边界。
• 通过使用阶乘序列重新定义其常数参数，将该框架应用于SVRG以提升收敛速率。
• 证明阶乘幂序列自然满足李雅普诺夫型收敛证明中的关键不等式。
• 表明与标准常数选择相比，所得收敛速率得到改善或简化。

实验结果

研究问题

• RQ1 阶乘幂序列能否系统地用于定义随机优化收敛性证明中的常数？
• RQ2 基于阶乘的参数选择如何影响动量法与加速梯度法的收敛速率？
• RQ3 阶乘幂在多大程度上可简化SVRG的分析并提升其收敛速率？
• RQ4 阶乘序列的哪些数学性质使其适用于优化常数的参数化？
• RQ5 阶乘幂参数化能否统一或推广不同优化方法的现有收敛性证明？

主要发现

• 阶乘幂为定义优化常数提供了一种系统且灵活的方法，减少了对随意调优的依赖。
• 使用阶乘序列可自然满足李雅普诺夫分析中的关键不等式，从而简化收敛性证明。
• 通过基于阶乘的参数化，动量法与加速梯度法的收敛速率得到改善或更加清晰透明。
• 对于SVRG，阶乘幂框架通过优化步长与动量参数的选择，实现了更紧致的收敛边界。
• 该方法揭示了不同优化方法之间的结构相似性，提示存在统一的分析框架。
• 该方法在不改变底层算法的前提下，增强了理论理解，仅需调整分析与参数选择过程。