[論文レビュー] Curvature of Feasible Sets in Offline and Online Optimization

Marco Molinaro|arXiv (Cornell University)|Feb 8, 2020

Advanced Bandit Algorithms Research参考文献 44被引用数 9

ひとこと要約

本稿は、強い凸性とゲージ集合の同値性を確立し、Abernethyらの予想を証明する。また、目的関数の強い凸性を仮定せずとも、強い凸性を持つ実行可能集合上でフランク＝ウォルフ型手法が加速された $O(1/t^2)$ 収束を達成することを示す。さらに、フォローザ・リーダー（Follow the Leader）がこのような集合上でオンライン線形最適化で対数的レジットを達成することを示し、曲率を保つ凸体近似法を提案することで、一般の凸集合へその結果を拡張する。

ABSTRACT

It is known that the curvature of the feasible set in convex optimization allows for algorithms with better convergence rates, and there has been renewed interest in this topic both for offline as well as online problems. In this paper, leveraging results on geometry and convex analysis, we further our understanding of the role of curvature in optimization: - We first show the equivalence of two notions of curvature, namely strong convexity and gauge bodies, proving a conjecture of Abernethy et al. As a consequence, this show that the Frank-Wolfe-type method of Wang and Abernethy has accelerated convergence rate $O(\frac{1}{t^2})$ over strongly convex feasible sets without additional assumptions on the (convex) objective function. - In Online Linear Optimization, we identify two main properties that help explaining \emph{why/when} Follow the Leader (FTL) has only logarithmic regret over strongly convex sets. This allows one to directly recover a recent result of Huang et al., and to show that FTL has logarithmic regret over strongly convex sets whenever the gain vectors are non-negative. - We provide an efficient procedure for approximating convex bodies by strongly convex ones while smoothly trading off approximation error and curvature. This allows one to extend the improved algorithms over strongly convex sets to general convex sets. As a concrete application, we extend the results of Dekel et al. on Online Linear Optimization with Hints to general convex sets.

研究の動機と目的

• 凸体 $K$ がそのゲージ関数に関してゲージ集合であることは、$K$ に関して強い凸性を持つことと同値である、という予想を解決すること。
• 実行可能集合の曲率が、オフラインおよびオンライン最適化アルゴリズムの収束加速に果たす役割を明確にすること。
• 近似誤差と曲率の両立を図りながら、一般の凸体を強い凸性を持つものに近似する手順を開発すること。
• 曲率に基づく近似を用いて、HINTS付きオンライン線形最適化における改善されたレジット境界を、一般の凸集合へ拡張すること。

提案手法

• 凸体 $C$ に関する強い凸性と、同じ $C$ に関するゲージ集合との同値性を証明し、Abernethy らの予想を解決する。
• ゲージ関数や2次的性質などの幾何学的・凸解析的道具を用いて、曲率概念の同値性を確立する。
• この同値性を応用し、Wang と Abernethy が提唱したフランク＝ウォルフ型手法が、目的関数の強い凸性を仮定せずとも、強い凸性を持つ実行可能集合上で $O(1/t^2)$ の収束を達成することを示す。
• 与えられた凸体 $K$ の強い凸近似 $K_t$ を構成する手順を導入し、$t \to \infty$ のとき $K_t \to K$ となるようにし、近似誤差と曲率を制御する。
• 曲率を保つ近似を用いて、Dekel らのオンライン線形最適化（HINTS付き）における $O(\log T)$ レジット結果を一般の凸集合へ拡張する。
• 弱い最適化オракルと凸幾何学を用いて、近似とアルゴリズムの多項式時間計算可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 凸体 $K$ がそのゲージ $\|\cdot\|_K$ に関してゲージ集合であることは、$K$ に関して強い凸性を持つことと同値であるか？
• RQ2 フランク＝ウォルフ型手法の加速された $O(1/t^2)$ 収束は、目的関数の曲率に依存せず、実行可能集合の曲率のみによって保証可能か？
• RQ3 フォローザ・リーダーが強い凸集合上でオンライン線形最適化で対数的レジットを達成するのはなぜか？ これはどのような条件下で成立するか？
• RQ4 一般の凸集合を、曲率の利点を保ちつつ近似誤差を制御できるように、強い凸性を持つものに近似可能か？
• RQ5 HINTS付きオンライン線形最適化における改善されたレジット境界は、強い凸集合を超えて一般の凸集合へ拡張可能か？

主な発見

• 本稿は、凸体 $K$ がそのゲージ $\|\cdot\|_K$ に関してゲージ集合であることと、$K$ に関して強い凸性であることとが同値であることを証明し、Abernethy らの予想を解決する。
• その結果、Wang と Abernethy が提唱したフランク＝ウォルフ型手法は、目的関数が強い凸性を持たなくても、任意の強い凸実行可能集合上で $O(1/t^2)$ の収束レートを達成する。
• 非負のゲインベクトルが与えられる場合、フォローザ・リーダーは強い凸集合上でオンライン線形最適化で $O\left(\log T\right)$ のレジットを達成する。これは、この改善されたレジットの背後にあるメカニズムを説明する。
• 本稿は、与えられた凸体 $K$ の強いつよさの近似 $K_t$ の族を構成し、$K \subseteq \sqrt{1 + 2\varepsilon} \, K_t$ かつ $K_t$ の2次凸性モジュラスが $\frac{\varepsilon r^2}{4R^2}$ 以上であるようにする。これにより、曲率に基づく近似が可能になる。
• この近似を用いて、HINTS付きオンライン線形最適化における $O(\log T)$ レジット境界を一般の凸集合へ拡張する。ただし、レジットに $O(1/\varepsilon)$ 要因の乗法的要因が生じる。
• 得られるアルゴリズムは、総報酬が $(1 - \varepsilon)\textsc{OPT} - \frac{dGR^4}{\alpha r^3} \cdot O\left(\frac{\log T}{\varepsilon}\right)$ 以上であることを示し、ヒントが与えられても、対数的レジットの達成には曲率が本質的であることを示す。