[論文レビュー] Improved Dynamic Regret for Online Frank-Wolfe

Yuanyu Wan, Lijun Zhang+1 more|arXiv (Cornell University)|Feb 11, 2023

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、線分探索に基づくステップサイズルールを導入することで、オンラインフランク＝ウォルフ（OFW）の動的リグレットバウンドを改善し、滑らかで強く凸であり、内部最小化点を持つ設定において、よりタイトなバウンドを達成した。滑らかで強く凸な関数に対して、強く凸な集合上では $O(\big(1+V_T\big)^{2/3}T^{1/3})$ を達成し、内部最小化点に対しては $O(\big(1+V_T\big))$ を達成。さらに、1ラウンドあたりのFW反復回数を一定にすることで、$O(\big(\text{min}\big\bracevert P_T^*, S_T^*, V_T\big\bracevert + 1\big)$ にさらに精錬した。

ABSTRACT

To deal with non-stationary online problems with complex constraints, we investigate the dynamic regret of online Frank-Wolfe (OFW), which is an efficient projection-free algorithm for online convex optimization. It is well-known that in the setting of offline optimization, the smoothness of functions and the strong convexity of functions accompanying specific properties of constraint sets can be utilized to achieve fast convergence rates for the Frank-Wolfe (FW) algorithm. However, for OFW, previous studies only establish a dynamic regret bound of $O(\sqrt{T}(V_T+\sqrt{D_T}+1))$ by utilizing the convexity of problems, where $T$ is the number of rounds, $V_T$ is the function variation, and $D_T$ is the gradient variation. In this paper, we derive improved dynamic regret bounds for OFW by extending the fast convergence rates of FW from offline optimization to online optimization. The key technique for this extension is to set the step size of OFW with a line search rule. In this way, we first show that the dynamic regret bound of OFW can be improved to $O(\sqrt{T(V_T+1)})$ for smooth functions. Second, we achieve a better dynamic regret bound of $O(T^{1/3}(V_T+1)^{2/3})$ when functions are smooth and strongly convex, and the constraint set is strongly convex. Finally, for smooth and strongly convex functions with minimizers in the interior of the constraint set, we demonstrate that the dynamic regret of OFW reduces to $O(V_T+1)$, and can be further strengthened to $O(\min\{P_T^\ast,S_T^\ast,V_T\}+1)$ by performing a constant number of FW iterations per round, where $P_T^\ast$ and $S_T^\ast$ denote the path length and squared path length of minimizers, respectively.

研究の動機と目的

• 非定常環境における既存のOFWアルゴリズムの限界を克服し、動的リグレットバウンドを改善すること。
• 滑らかさと強く凸性を用いて、オフラインのフランク＝ウォルフの高速収束レートをオンライン設定に拡張すること。
• 制約集合の幾何構造と最小化点の位置を活用することで、よりタイトな動的リグレットバウンドを達成すること。
• 収束性とリグレットパフォーマンスの向上を図るため、線分探索に基づくステップサイズルールを開発すること。

提案手法

• OFWにおけるステップサイズを適応的に設定するための線分探索ルールを導入し、収束性とリグレットパフォーマンスを向上させること。
• フランク＝ウォルフギャップと降下補題を用いて、滑らかさと強く凸性の下での反復ごとの進捗をバウンドすること。
• 関数の変動 $V_T$、勾配の変動 $D_T$、最適性ギャップを分解することで、動的リグレットを導出すること。
• 線分探索ルールを適用することで、最小化点が制約集合の内部にある場合に $O(\big(\text{min}\big\bracevert P_T^*, S_T^*, V_T\big\bracevert + 1\big)$ のリグレットを達成すること。
• 制約集合と関数の強く凸性を用いて収束を加速し、$O((1+V_T)^{2/3}T^{1/3})$ のバウンドをタイトにすること。
• 最適性ギャップと関数変動を用いた再帰的リグレット分解を構築し、パrameterチューニングによりよりタイトな解析を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 オフラインのフランク＝ウォルフの高速収束レートをオンライン設定に拡張することで、動的リグレットを改善できるか？
• RQ2 非定常環境におけるOFWの動的リグレットにステップサイズの選択がどのように影響するか？
• RQ3 関数が滑らかで強く凸であり、最小化点が制約集合の内部にある場合に、どのような動的リグレットバウンドが達成可能か？
• RQ4 1ラウンドあたりのフランク＝ウォルフ反復回数を一定にすることで、動的リグレットをさらに改善できるか？
• RQ5 関数変動 $V_T$、パス長 $P_T^*$、二乗パス長 $S_T^*$ は、OFWにおける動的リグレットにどのように影響するか？

主な発見

• OFWの動的リグレットは、$O(\big(\text{滑らかな関数: } \big(\text{滑らかで強く凸な関数（強く凸な集合上）: } O((1+V_T)^{2/3}T^{1/3})$ に向上した。
• 滑らかで強く凸な関数で最小化点が制約集合の内部にある場合には、動的リグレットは $O(1+V_T)$ に低下する。
• 1ラウンドあたりのフランク＝ウォルフ反復を一定にすることで、動的リグレットはさらに $O(\text{min}\big\bracevert P_T^*, S_T^*, V_T\big\bracevert + 1)$ にタイトにできる。
• 線分探索ステップサイズルールにより、各ラウンドにおける進捗と安定性のバランスを適応的にとることで、よりタイトなリグレットバウンドが達成可能である。
• 解析から、滑らかさと強く凸性が、非定常設定ですらもリグレットパフォーマンスを著しく改善することが示された。
• 改善されたバウンドにより、オフラインとオンラインのフランク＝ウォルフの収束レートのギャップが埋まり、オフラインの利点がオンライン最適化に転送可能であることが示された。