[论文解读] Curvature of Feasible Sets in Offline and Online Optimization

Marco Molinaro|arXiv (Cornell University)|Feb 8, 2020

Advanced Bandit Algorithms Research参考文献 44被引用 9

一句话总结

本文建立了强凸性与规范集之间的等价关系，证明了Abernethy等人提出的一个猜想，并表明在强凸可行集上，Frank-Wolfe型方法可实现$O(1/t^2)$的加速收敛，而无需假设目标函数具有强凸性。此外，本文还证明了在这些集合上，Follow the Leader在在线线性优化中可实现对数 regret。同时，提出了一种保持曲率的凸体近似方法，将这些结果推广至一般凸集。

ABSTRACT

It is known that the curvature of the feasible set in convex optimization allows for algorithms with better convergence rates, and there has been renewed interest in this topic both for offline as well as online problems. In this paper, leveraging results on geometry and convex analysis, we further our understanding of the role of curvature in optimization: - We first show the equivalence of two notions of curvature, namely strong convexity and gauge bodies, proving a conjecture of Abernethy et al. As a consequence, this show that the Frank-Wolfe-type method of Wang and Abernethy has accelerated convergence rate $O(\frac{1}{t^2})$ over strongly convex feasible sets without additional assumptions on the (convex) objective function. - In Online Linear Optimization, we identify two main properties that help explaining \emph{why/when} Follow the Leader (FTL) has only logarithmic regret over strongly convex sets. This allows one to directly recover a recent result of Huang et al., and to show that FTL has logarithmic regret over strongly convex sets whenever the gain vectors are non-negative. - We provide an efficient procedure for approximating convex bodies by strongly convex ones while smoothly trading off approximation error and curvature. This allows one to extend the improved algorithms over strongly convex sets to general convex sets. As a concrete application, we extend the results of Dekel et al. on Online Linear Optimization with Hints to general convex sets.

研究动机与目标

• 解决一个猜想：当且仅当凸体关于其自身规范范数是强凸时，该凸体是其规范范数下的规范集。
• 阐明可行集曲率在加速离线与在线优化算法收敛性中的作用。
• 提出一种将一般凸体近似为强凸体的方法，同时平衡近似误差与曲率。
• 通过基于曲率的近似方法，将带有提示的在线线性优化中的改进 regret 边界推广至一般凸集。

提出的方法

• 证明了关于凸体$C$的强凸性与关于同一$C$的规范集之间的等价性，解决了Abernethy等人提出的猜想。
• 使用几何与凸分析工具，包括规范函数和二阶性质，建立不同曲率概念之间的等价关系。
• 应用该等价关系，证明Wang与Abernethy提出的Frank-Wolfe型方法在强凸可行集上可实现$O(1/t^2)$的收敛速率，而无需假设目标函数具有强凸性。
• 提出一种构造给定凸体$K$的强凸近似$K_t$的程序，使得当$t \to \infty$时$K_t \to K$，且控制近似误差与曲率。
• 利用保持曲率的近似方法，将Dekel等人在带有提示的在线线性优化中的$O(\log T)$ regret 结果推广至一般凸集。
• 采用弱优化预言机与凸几何方法，确保近似与算法可在多项式时间内计算。

实验结果

研究问题

• RQ1 当且仅当凸体$K$关于其自身规范范数$\|\cdot\|_K$是强凸时，$K$是否是关于$\|\cdot\|_K$的规范集？
• RQ2 Frank-Wolfe型方法的加速$O(1/t^2)$收敛是否可仅由可行集的曲率保证，而独立于目标函数的曲率？
• RQ3 为何Follow the Leader在强凸集上的在线线性优化中可实现对数 regret？其成立的条件是什么？
• RQ4 能否以保持曲率优势并控制近似误差的方式，将一般凸集近似为强凸集？
• RQ5 能否将带有提示的在线线性优化中的改进 regret 边界从强凸集推广至一般凸集？

主要发现

• 本文证明了当且仅当凸体$K$关于其自身是强凸时，$K$是关于其规范范数$\|\cdot\|_K$的规范集，从而解决了Abernethy等人提出的猜想。
• 作为推论，Wang与Abernethy提出的Frank-Wolfe型方法在任意强凸可行集上均可实现$O(1/t^2)$的收敛速率，即使目标函数不具强凸性。
• 当收益向量非负时，Follow the Leader在强凸集上的在线线性优化中可实现$O(\log T)$的 regret，解释了该改进 regret 背后的机制。
• 本文构造了一类强凸近似$K_t$，使得$K \subseteq \sqrt{1 + 2\varepsilon} \, K_t$，且$K_t$的2-凸性模至少为$\frac{\varepsilon r^2}{4R^2}$，从而实现基于曲率的近似。
• 利用该近似方法，本文将带有提示的在线线性优化中的$O(\log T)$ regret 边界推广至一般凸集，代价是 regret 中多出一个$O(1/\varepsilon)$的乘法因子。
• 所得算法的总收益至少为$(1 - \varepsilon)\textsc{OPT} - \frac{dGR^4}{\alpha r^3} \cdot O(\frac{\log T}{\varepsilon})$，表明即使在有提示的情况下，曲率仍是实现对数 regret 的关键因素。