[論文レビュー] Optimal Dynamic Regret in Exp-Concave Online Learning

Dheeraj Baby, Yu-Xiang Wang|arXiv (Cornell University)|Apr 23, 2021

Advanced Bandit Algorithms Research参考文献 34被引用数 8

ひとこと要約

本稿は、不正学習における指数的凸性のあるオンライン学習において、最初の最適な動的リグレットバウンド $ ilde{O}^{*}(n^{1/3}C_n^{2/3} \vee \log n)$ を確立した。これは強化された適応的（Strongly Adaptive）なアルゴリズムとKKTに基づく解析を活用することで達成された。この結果により、長年の未解決であった既知の下界と従来の上界とのギャップが埋められ、局所的に適応的な非パラメトリック回帰のための新たなハイパーパrameterフリーなアルゴリズムが可能となり、柔軟性と性能が向上した。

ABSTRACT

We consider the problem of the Zinkevich (2003)-style dynamic regret minimization in online learning with exp-concave losses. We show that whenever improper learning is allowed, a Strongly Adaptive online learner achieves the dynamic regret of $ ilde O^*(n^{1/3}C_n^{2/3} \vee 1)$ where $C_n$ is the total variation (a.k.a. path length) of the an arbitrary sequence of comparators that may not be known to the learner ahead of time. Achieving this rate was highly nontrivial even for squared losses in 1D where the best known upper bound was $O(\sqrt{nC_n} \vee \log n)$ (Yuan and Lamperski, 2019). Our new proof techniques make elegant use of the intricate structures of the primal and dual variables imposed by the KKT conditions and could be of independent interest. Finally, we apply our results to the classical statistical problem of locally adaptive non-parametric regression (Mammen, 1991; Donoho and Johnstone, 1998) and obtain a stronger and more flexible algorithm that do not require any statistical assumptions or any hyperparameter tuning.

研究の動機と目的

• 指数的凸性のあるオンライン学習における動的リグレットの既知の下界 $\Omega^{*}(n^{1/3}C_n^{2/3} \vee \log n)$ と従来の上界とのギャップを埋めること。
• パスの変動 $C_n$ の事前知識が不要な状態で、最適な動的リグレットを達成する方法を開発すること。
• 理論的結果を局所的に適応的な非パラメトリック回帰に応用し、統計的仮定やハイパーパrameterチューニングなしに、より強力で柔軟性に富んだアルゴリズムを実現すること。
• 不正学習と強化された適応的アルゴリズムの組み合わせが、非定常環境下で最適な動的リグレットを達成できることを示すこと。

提案手法

• 時間区間のすべての部分区間におけるリグレットを制御するために、強化された適応的（SA）オンライン学習アルゴリズムを活用する。
• 3つの成分に分解された新たなリグレット分解を用いる：$T_{1,i}$（FLHと修正されたエキスパートの比較）、$T_{2,i}$（修正されたエキスパートと平均の比較）、$T_{3,i}$（平均と真のコンパレーターの比較）。
• 指数的凸損失の双対構造を活用するため、KKT条件の解析を適用し、リグレット成分のタイトなバウンドを導出する。
• 局所的な曲率と勾配バウンドに適合したエキスパートアルゴリズム（例：ONS、OGD）を用いた、ヒント付きフォローザリーダー（FLH）フレームワークを採用する。
• 各タイムバインにおける勾配ドリフトを考慮し、安定性を確保するための修正コンパレーター $\dot{\boldsymbol{u}}_i$ を導入する。
• 次元依存のバウンドを $\ell_2$-ノルムおよび $\ell_\infty$-ノルムの不等式を用いて導出し、指数的凸性と強い凸性の仮定を活用する。

実験結果

リサーチクエスチョン

• RQ1 強化された適応的アルゴリズムは、不正学習下での指数的凸性のあるオンライン学習において、最適な動的リグレットレート $\tilde{O}^{*}(n^{1/3}C_n^{2/3} \vee \log n)$ を達成できるか？
• RQ2 パスの変動 $C_n$ の事前知識がなくても、この最適レートを達成することは可能か？
• RQ3 理論的枠組みを非パラメトリック回帰の既存手法に応用し、ハイパーパrameterチューニングや統計的仮定なしに性能を向上させることは可能か？
• RQ4 原点と双対変数のKKT構造は、指数的凸損失のよりタイトなリグレットバウンドを達成するために果たす役割は何か？
• RQ5 $n$ および $C_n$ に対する依存関係において、$O^{*}(\sqrt{nC_n} \vee \log n)$ などの従来の最先端のバウンドと比較して、提案手法はどのように異なるか？

主な発見

• 本稿は、不正学習下における指数的凸性のあるオンライン学習における動的リグレットに対して、新たな上界 $\tilde{O}^{*}(n^{1/3}C_n^{2/3} \vee \log n)$ を確立した。
• このバウンドは、既知の $\Omega^{*}(n^{1/3}C_n^{2/3} \vee \log n)$ の下界と一致しており、指数的凸性の設定において最適性が証明された。
• この方法は、パスの変動 $C_n$ の事前知識が不要であるため、未知の非定常性に適応可能である。
• 強い凸性を持つ損失の場合、リグレットバウンドは $O\left(\frac{(G^\dagger)^2 \log n}{H}\right)$ に改善され、収束速度の向上が示された。
• 局所的に適応的な非パラメトリック回帰のための新しいアルゴリズムが可能となり、統計的仮定やハイパーパrameterチューニングが不要である。
• 原点と双対変数のKKT構造に基づく解析は、動的リグレットのよりタイトなバウンドを達成するための新たな技術的ツールを提供し、動的リグレットの分野を超えた広範な応用可能性を有する。