[論文レビュー] Revisiting Projection-free Online Learning: the Strongly Convex Case

Dan Garber, Ben Kretzu|arXiv (Cornell University)|Oct 15, 2020

Advanced Bandit Algorithms Research参考文献 20被引用数 8

ひとこと要約

この論文は、オンライン学習における投影フリーな学習を再考し、オンライン・フランク＝ウォルフ（OFW）法を用いて、強い凸性が、完全情報設定およびバンディット設定の両方で、O(T^{2/3})のレグレットバウンドを達成できることを確立している。これは、非強い凸関数に対する標準的なO(T^{3/4})レートを驚くべきことに上回る。この改善は、フランク＝ウォルフ法が通常、オフライン最適化において強い凸性の恩恵を受けることができないにもかかわらず、ブロックベースの更新と、近似誤差が有界な線形最適化オракルを用いることで、強い凸性を活用することによって生じる。

ABSTRACT

Projection-free optimization algorithms, which are mostly based on the classical Frank-Wolfe method, have gained significant interest in the machine learning community in recent years due to their ability to handle convex constraints that are popular in many applications, but for which computing projections is often computationally impractical in high-dimensional settings, and hence prohibit the use of most standard projection-based methods. In particular, a significant research effort was put on projection-free methods for online learning. In this paper we revisit the Online Frank-Wolfe (OFW) method suggested by Hazan and Kale \cite{Hazan12} and fill a gap that has been left unnoticed for several years: OFW achieves a faster rate of $O(T^{2/3})$ on strongly convex functions (as opposed to the standard $O(T^{3/4})$ for convex but not strongly convex functions), where $T$ is the sequence length. This is somewhat surprising since it is known that for offline optimization, in general, strong convexity does not lead to faster rates for Frank-Wolfe. We also revisit the bandit setting under strong convexity and prove a similar bound of $ ilde O(T^{2/3})$ (instead of $O(T^{3/4})$ without strong convexity). Hence, in the current state-of-affairs, the best projection-free upper-bounds for the full-information and bandit settings with strongly convex and nonsmooth functions match up to logarithmic factors in $T$.

研究の動機と目的

• 投影フリーなオンライン学習における長年の無視されたギャップ、すなわち強い凸性がレグレットレートに与える影響を解消する。
• 先行研究が凸性のみを仮定していたのに対し、強い凸性下でのOFW法とそのバンディット版の再評価を行う。
• ログ形式要因までを考慮した、投影フリー手法の既知の最良上界に一致する tighter なレグレットバウンドを確立する。
• オフラインのフランク＝ウォルフ法では強凸性の恩恵を受けないにもかかわらず、オンライン設定では受ける理由を理論的根拠をもって説明する。

提案手法

• ブロック処理を用いた標準的なオンライン・フランク＝ウォルフ（OFW）アルゴリズムおよびそのバンディット版を再分析する。
• 各ブロックが複数のラウンドを処理するブロックベースの更新を導入し、反復計算の精度を向上させる。
• 各ブロックごとに線形最適化オーケストラを用いて降下方向を計算し、高価な投影を回避する。
• 各ブロック内での反復点と最適解との間の近似誤差項ǫmを用いて、レグレットをバウンドする。
• 滑らかさと強い凸性を用いたフランク＝ウォルフ収束保証を適用し、各ブロックあたりのオーケストラ呼び出し回数を制限する。
• バンディット設定では勾配推定技術を用い、ブロック間での誤差伝搬を制御する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性は、オフラインのフランク＝ウォルフ法の収束を改善しないにもかかわらず、投影フリーなオンライン学習において、より速いレグレットレートをもたらすことができるか？
• RQ2 強い凸性下での完全情報設定におけるOFWの達成可能な最良のレグレットバウンドは何か？
• RQ3 OFWのバンディット版は、強い凸性下で完全情報ケースと同等のレグレットバウンドを達成できるか？
• RQ4 ブロック処理は、投影フリーなオンラインアルゴリズムの精度とレグレット性能をどのように向上させるか？

主な発見

• OFWアルゴリズムは、強い凸性下での完全情報設定において、O(T^{2/3})のレグレットバウンドを達成し、標準的なO(T^{3/4})レートを上回る。
• バンディット設定では、対数的要因を除き、期待レグレットバウンドがÕ((nT)^{2/3})に達し、投影フリー手法の既知の最良上界に一致する。
• この改善は、オフラインのフランク＝ウォルフ法がその恩恵を受けないにもかかわらず、強い凸性下でフランク＝ウォルフ部分問題の収束が強化されることに起因する。
• 解析により、強い凸性下では線形最適化オーケストラ呼び出し回数がO(T^{2/3})にスケーリングすることが示され、対数的要因を除いて最適である。
• 近似誤差に対してロバストであり、勾配ノルムと強い凸性パラメータが有界である限り、結果は成り立つ。
• 理論的発見は、ブロック単位の近似誤差とオーケストラ呼び出し回数を用いてレグレットをバウンドする、新規な解析フレームワークによって裏付けられる。