[论文解读] A Stochastic Tensor Method for Non-convex Optimization

Aurélien Lucchi, Jonas Köhler|arXiv (Cornell University)|Nov 23, 2019

Tensor decomposition and applications参考文献 55被引用 9

一句话总结

该论文提出了一种用于非凸优化的随机张量方法，通过使用子采样的四阶正则化模型来寻找三阶临界点。通过推导一种专为有限和结构设计的新张量集中不等式，该方法实现了 $\mathcal{O}(\max(\epsilon_1^{-4/3}, \epsilon_2^{-2}, \epsilon_3^{-4}))$ 的迭代复杂度，与确定性方法的速率相匹配。

ABSTRACT

We present a stochastic optimization method that uses a fourth-order regularized model to find local minima of smooth and potentially non-convex objective functions with a finite-sum structure. This algorithm uses sub-sampled derivatives instead of exact quantities. The proposed approach is shown to find an $(\epsilon_1,\epsilon_2,\epsilon_3)$-third-order critical point in at most $\bigO\left(\max\left(\epsilon_1^{-4/3}, \epsilon_2^{-2}, \epsilon_3^{-4} ight) ight)$ iterations, thereby matching the rate of deterministic approaches. In order to prove this result, we derive a novel tensor concentration inequality for sums of tensors of any order that makes explicit use of the finite-sum structure of the objective function.

研究动机与目标

• 开发一种高效的随机优化方法，用于在光滑的非凸有限和问题中寻找局部最小值。
• 尽管使用子采样导数，仍实现与确定性方法相匹配的收敛速率。
• 在随机近似下，建立寻找 $(\epsilon_1, \epsilon_2, \epsilon_3)$-三阶临界点的理论保证。
• 推导一种新的张量集中不等式，明确考虑目标函数的有限和结构。

提出的方法

• 该方法采用四阶正则化模型来近似目标函数，以支持高阶优化。
• 使用子采样导数代替精确梯度和高阶张量，以降低计算成本。
• 推导出一种新的张量集中不等式，以控制子采样张量与其期望值之间的偏差。
• 算法通过迭代更新解，使用正则化的子采样模型，确保收敛至三阶临界点。
• 该方法专为具有有限和结构的光滑非凸目标函数设计，这类问题在机器学习中很常见。
• 理论分析利用有限和结构，实现了最优的迭代复杂度。

实验结果

研究问题

• RQ1 随机张量方法能否在非凸有限和优化中实现与确定性方法相同的收敛速率？
• RQ2 在非凸设置下，如何高效地使用子采样导数来近似高阶信息？
• RQ3 为控制有限和目标函数中子采样高阶张量的误差，需要何种新型集中不等式？
• RQ4 该方法能否以最优的迭代复杂度找到 $(\epsilon_1, \epsilon_2, \epsilon_3)$-三阶临界点？

主要发现

• 该算法最多在 $\mathcal{O}(\max(\epsilon_1^{-4/3}, \epsilon_2^{-2}, \epsilon_3^{-4}))$ 次迭代内找到 $(\epsilon_1, \epsilon_2, \epsilon_3)$-三阶临界点。
• 尽管使用随机子采样导数，收敛速率仍与确定性方法保持一致。
• 推导出一种新的张量集中不等式，明确利用了目标函数的有限和结构。
• 该方法通过使用高阶正则化模型，在非凸有限和问题中实现了最优的迭代复杂度。
• 理论分析证实了该方法在导数子采样下的鲁棒性。