[論文レビュー] Dual Adaptivity: A Universal Algorithm for Minimizing the Adaptive Regret of Convex Functions

Lijun Zhang, Guanghui Wang+2 more|arXiv (Cornell University)|Jun 26, 2019

Advanced Bandit Algorithms Research参考文献 32被引用数 7

ひとこと要約

本稿では、一般の凸関数、指数的凸関数、強い凸関数に対して、関数の性質に関する事前知識が不要な最適な適応的リグレットバウンドを達成する、UMA（Universal Algorithm for Minimizing Adaptive Regret）と呼ばれる、オンライン凸最適化の新規アルゴリズムを提案する。MetaGradがインspiredした複数の学習率の適応と、変化する環境を捉えるために睡眠中のエキスパートを組み合わせることで、UMAは関数の種類と環境の変化の両方に自動的に適応し、それぞれ $O(\sqrt{\tau\log T})$、$O(\frac{d}{\alpha}\log\tau\log T)$、$O(\frac{1}{\lambda}\log\tau\log T)$ のリグレットバウンドを達成する。

ABSTRACT

To deal with changing environments, a new performance measure -- adaptive regret, defined as the maximum static regret over any interval, was proposed in online learning. Under the setting of online convex optimization, several algorithms have been successfully developed to minimize the adaptive regret. However, existing algorithms lack universality in the sense that they can only handle one type of convex functions and need apriori knowledge of parameters. By contrast, there exist universal algorithms, such as MetaGrad, that attain optimal static regret for multiple types of convex functions simultaneously. Along this line of research, this paper presents the first universal algorithm for minimizing the adaptive regret of convex functions. Specifically, we borrow the idea of maintaining multiple learning rates in MetaGrad to handle the uncertainty of functions, and utilize the technique of sleeping experts to capture changing environments. In this way, our algorithm automatically adapts to the property of functions (convex, exponentially concave, or strongly convex), as well as the nature of environments (stationary or changing). As a by product, it also allows the type of functions to switch between rounds.

研究の動機と目的

• 既存の適応的リグレットアルゴリズムに見られるユニバーサル性の欠如に起因する、強い凸性や指数的凸性のモジュラスなどの関数パラメータに関する事前知識の必要性を是正すること。
• 一般凸、指数的凸、強い凸関数の異なる種類に同時に適応し、変化する環境に対しても適応可能な、単一のアルゴリズムを開発すること。
• 関数の性質に関する事前知識が不要な状態で、すべての関数タイプに対して最適な適応的リグレットバウンドを達成すること。
• オンライン学習中に関数タイプの切り替えが発生する状況をサポートし、異種の関数列にわたって高い性能を維持すること。

提案手法

• MetaGradがインspiredした複数の学習率を活用し、関数タイプの不確実性に対処し、最適なレートを自動的に選択する。
• 睡眠中のエキスパートフレームワークを採用し、時間間隔ごとに複数のエキスパートを維持することで、任意の時間間隔で低リグレットを達成する。
• 適応的重み付けと指数的損失最小化を用いて、エキスパートを動的に統合し、時間間隔全体で低リグレットを維持する。
• 関数構造（凸性の種別）と環境のダイナミクス（定常的 vs. 変化的）の両方に同時に適応する二重適応メカニズムを導入する。
• エキスパートのリグレット解析を基にした2次リグレットバウンドを適用し、異なる関数クラスにわたるタイトな性能保証を導出する。
• 観察された関数の挙動に基づき、エキスパートおよび学習率のコンポonentを動的に調整することで、訓練中に関数タイプの切り替えをサポートする。

実験結果

リサーチクエスチョン

• RQ1 関数パラメータの事前知識が不要な状態で、複数の凸関数タイプに対して最適な適応的リグレットを達成できる単一のアルゴリズムは存在するか？
• RQ2 損失関数の構造的性質と変化する環境のダイナミクスの両方に同時に適応できるアルゴリズムはどのように実現できるか？
• RQ3 関数タイプ（例：一般、指数的凸、強い凸）が時間とともに変化する場合、ユニバーサルアルゴリズムの性能保証はどのようになるか？
• RQ4 複数の学習率の適応と睡眠中のエキスパートの組み合わせは、既存の専用アルゴリズムよりもタイトなリグレットバウンドを達成できるか？
• RQ5 再設定なしに、長さや関数タイプが異なる時間間隔にわたって最適な適応的リグレットバウンドを維持することは可能か？

主な発見

• UMAは一般凸関数に対して $O(\sqrt{\tau\log T})$ の強力な適応的リグレットを達成し、最新の最良のバウンドと一致する。
• $\alpha$-指数的凸関数に対して、UMAは $O(\frac{d}{\alpha}\log\tau\log T)$ のリグレットを達成し、既知の最良の結果と一致する。
• $\lambda$-強い凸関数に対して、UMAは $O(\frac{1}{\lambda}\log\tau\log T)$ のリグレットを達成し、これが最適である。
• 関数タイプが時間間隔ごとに切り替わる場合（例：一般から指数的凸、から強い凸に）、UMAは自動的に適応し、各セグメントに対して対応する最適なリグレットバウンドを達成する。
• アルゴリズムは $T$ に対する $O(\log T)$ と $\tau$ に対する $O(\log \tau)$ の依存性を維持し、スケーラビリティを保証する。
• UMAは、パrameterの事前知識が不要な状態で、3つの主要な凸関数クラスすべてにおいて適応的リグレットを同時に最小化する最初のユニバーサルアルゴリズムである。