[論文レビュー] Optimal Dynamic Regret in Proper Online Learning with Strongly Convex Losses and Beyond

Dheeraj Baby, Yu-Xiang Wang|arXiv (Cornell University)|Jan 21, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、強い凸性と指数的凸性のある損失設定において、不適切な学習（決定集合外の予測を含む）を必要とせずに、適切なオンライン学習アルゴリズム—特に強い適応的（SA）手法—が近似的に最適な動的リグレットを達成できることを確立している。KKT条件からの新たな構造的洞察を活用することで、著者らは動的リグレットの上限を $\tilde{O}(d^{1/3}n^{1/3}\text{TV}[u_{1:n}]^{2/3} \vee d)$ として導出し、このような設定において不適切な学習が最適レートを達成するために必須であるかどうかという未解決問題を解決した。

ABSTRACT

We study the framework of universal dynamic regret minimization with strongly convex losses. We answer an open problem in Baby and Wang 2021 by showing that in a proper learning setup, Strongly Adaptive algorithms can achieve the near optimal dynamic regret of $ ilde O(d^{1/3} n^{1/3} ext{TV}[u_{1:n}]^{2/3} \vee d)$ against any comparator sequence $u_1,\ldots,u_n$ simultaneously, where $n$ is the time horizon and $ ext{TV}[u_{1:n}]$ is the Total Variation of comparator. These results are facilitated by exploiting a number of new structures imposed by the KKT conditions that were not considered in Baby and Wang 2021 which also lead to other improvements over their results such as: (a) handling non-smooth losses and (b) improving the dimension dependence on regret. Further, we also derive near optimal dynamic regret rates for the special case of proper online learning with exp-concave losses and an $L_\infty$ constrained decision set.

研究の動機と目的

• 強い凸オンライン学習における最適な動的リグレットを達成するために不適切な学習が厳密に必要かどうかという未解決問題を解消すること。
• 予測が決定集合内に留まる適切な学習設定に、[improperDynamic]の動的リグレット分析を拡張すること。
• 新たなKKTに基づく構造的洞察を活用することで次元依存性を改善し、滑らかでない損失に対処すること。
• $L_\infty$-有界な決定集合における指数的凸損失の下で、近似的に最適なリグレットレートを確立すること。

提案手法

• 全変動（TV）制約下での最適意思決定を特徴付けるために、カルーシュ＝クーン＝タッカー（KKT）条件に基づく新しい解析フレームワークを提案する。
• 有界な決定集合 $[-B,B]$ 上で、オンライン勾配降下法（OGD）をベースラーナーとするフォローザ・リーディング・ハイストリ（FLH）アルゴリズムを用い、適切な学習を保証する。
• 比較対象の系列が区間内で定数となるように、時間区間分解戦略を導入することで、より優れた静的点との比較を可能にする。
• リグレットを区間ごとの成分に分解し、定数比較対象に対するリグレットを、より優れた静的点に対するリグレットで相殺する。
• 強い適応的性質を活用して、各区間における学習者のリグレットが、より優れた静的点のリグレットに加えて対数項で抑えられることを保証する。
• 未知の全変動 $C_n$ を事前に知らなくてもよいように、全変動 $C_n$ に適応する普遍的な動的リグレット上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 強い凸損失設定において、適切なオンライン学習が不適切な学習と同等の動的リグレットレートを達成できるか？
• RQ2 強い凸性のもとで、近似的に最適な動的リグレットを達成するために不適切な学習の使用が厳密に必要なのか？
• RQ3 KKT条件をどのように活用すれば、非定常なオンライン学習におけるよりタイトなリグレット上限を導出できるか？
• RQ4 適切な学習において、動的リグレットの最適な次元依存性 $d$、時間枠 $n$、全変動 $\text{TV}[u_{1:n}]$ は何か？
• RQ5 結果を $L_\infty$-有界な決定集合を有する指数的凸損失に拡張できるか？

主な発見

• 本稿では、強い凸損失下での適切な強い適応的アルゴリズムに対して、動的リグレット上限 $\tilde{O}(d^{1/3}n^{1/3}\text{TV}[u_{1:n}]^{2/3} \vee d)$ を確立した。これは、対数要因を除いて最適レートと一致する。
• この結果により、強い凸オンライン学習において不適切な学習が近似的に最適な動的リグレットを達成するために必須であるとは限らないことが示された。
• 従来の研究と比較して次元依存性を改善し、[improperDynamic]の勾配リプシッツ性仮定を超えて、滑らかでない損失に対しても対応可能となった。
• $L_\infty$-有界な決定集合を有する指数的凸損失に対しては、$\tilde{O}^*(n^{1/3}\text{TV}[u_{1:n}]^{2/3} \vee 1)$ のリグレット上限を達成し、これは近似的に最適である。
• KKTに基づく構造的洞察により、よりタイトなリグレット分解が可能となり、全変動が有界な任意の比較対象系列に対する有効な競合が可能になった。
• 提案されたFLH-OGD戦略は、全変動 $C_n$ の知識を必要とせず、全変動に適応する普遍的な動的リグレットを達成し、制約下でも安全かつ適応可能である。