[论文解读] Accelerated methods for composite non-bilinear saddle point problem

Mohammad Alkousa, Darina Dvinskikh+3 more|arXiv (Cornell University)|Jun 9, 2019

Sparse and Compressive Sensing Techniques参考文献 15被引用 9

一句话总结

本文通过利用Legendre变换的性质，将加速梯度滑动方法扩展至复合非双线性鞍点问题，证明在一般条件下，双线性问题的最优收敛速率在非双线性设置下依然成立。作者识别出这些界存在差异的条件，并解释了其背后的结构性原因，为复合凸-凹优化中的加速方法提供了统一的框架。

ABSTRACT

Based on G. Lan's accelerated gradient sliding and general relation between the smoothness and strong convexity parameters of function under Legendre transformation we show that under rather general conditions the best known bounds for bilinear convex-concave smooth composite saddle point problem keep true for or non-bilinear convex-concave smooth composite saddle point problem. Moreover, we describe situations when the bounds differ and explain the nature of the difference.

研究动机与目标

• 将加速梯度滑动方法从双线性鞍点问题扩展至一般复合非双线性凸-凹设置。
• 确定双线性问题中已知的最佳收敛界在非双线性情况下是否依然有效。
• 刻画收敛界出现差异的条件，并解释这些差异的本质。
• 通过Legendre变换的性质，统一双线性和非双线性鞍点问题中加速方法的分析。
• 为在更广泛的复合优化问题类别中应用加速方法提供理论基础。

提出的方法

• 将G. Lan的加速梯度滑动框架适配至非双线性鞍点问题。
• 利用Legendre变换下强凸性与光滑性参数之间的关系，推广收敛性分析。
• 应用Legendre变换重构对偶问题，并推导等价的最优性条件。
• 通过分析原问题与对偶分量之间光滑性的相互作用，推导收敛速率。
• 考虑目标函数中同时包含光滑项与非光滑项的复合结构。
• 采用变分不等式与最优性间隙分析，在一般凸-凹假设下建立收敛界。

实验结果

研究问题

• RQ1 在何种条件下，双线性鞍点问题的最优收敛速率可推广至非双线性复合问题？
• RQ2 耦合项的结构（双线性 vs. 非双线性）如何影响加速方法的收敛速率？
• RQ3 与双线性情况相比，非双线性问题中收敛界差异的本质是什么？
• RQ4 Legendre变换能否用于统一双线性与非双线性设置下加速方法的分析？
• RQ5 在鞍点问题背景下，Legendre对偶下光滑性与强凸性参数如何变换？

主要发现

• 双线性凸-凹光滑复合鞍点问题的最佳已知收敛界，在非双线性问题的一般条件下依然成立。
• 作者识别出耦合项中导致收敛界与双线性情况产生偏差的具体结构性差异。
• 通过Legendre对偶下光滑性与强凸性参数的变换，解释了界之间差异的本质。
• 分析证实，加速梯度滑动可成功推广至非双线性设置，且收敛速率得以保持。
• 该框架为在更广泛的复合鞍点问题类别（超越双线性形式）中应用加速方法提供了理论依据。
• 结果在一般凸-凹假设下推导得出，对光滑性与强凸性参数给出了明确条件。