[論文レビュー] Dynamic Regret of Strongly Adaptive Methods

Lijun Zhang, Tianbao Yang+2 more|arXiv (Cornell University)|Jan 26, 2017

Advanced Bandit Algorithms Research被引用数 37

ひとこと要約

この論文は、強力な適応的リグレットと動的リグレットの理論的関係を確立し、動的リグレットが適応的リグレットと関数的変動を用いて上界で抑えられることを示している。凸関数、指数的凹関数、強い凸関数に対して、関数的変動の事前知識が不要な、最小最大最適な動的リグレット境界を達成する新規な適応的アルゴリズムを提案し、動的リグレット解析における指数的凹関数の使用を初めて実現している。

ABSTRACT

To cope with changing environments, recent developments in online learning have introduced the concepts of adaptive regret and dynamic regret independently. In this paper, we illustrate an intrinsic connection between these two concepts by showing that the dynamic regret can be expressed in terms of the adaptive regret and the functional variation. This observation implies that strongly adaptive algorithms can be directly leveraged to minimize the dynamic regret. As a result, we present a series of strongly adaptive algorithms that have small dynamic regrets for convex functions, exponentially concave functions, and strongly convex functions, respectively. To the best of our knowledge, this is the first time that exponential concavity is utilized to upper bound the dynamic regret. Moreover, all of those adaptive algorithms do not need any prior knowledge of the functional variation, which is a significant advantage over previous specialized methods for minimizing dynamic regret.

研究の動機と目的

• オンライン凸最適化における適応的リグレットと動的リグレットの理論的関係を確立すること。
• 関数的変動の事前知識が不要な動的リグレットを最小化するアルゴリズムを開発すること。
• 指数的凹関数の使用を、初めて動的リグレット解析に拡張すること。
• 凸関数、指数的凹関数、強い凸関数に対して、最小最大最適な動的リグレット境界を達成すること。

提案手法

• 強い適応的リグレットと関数的変動の観点から、動的リグレットの一般上界を導出する。
• Junら（2017）の強い適応的アルゴリズムを凸関数に適応し、動的リグレットを $ O(T^{2/3}V_T^{1/3}\text{polylog}(T)) $ に抑える。
• パラメータ化された指数変換を用いて、リグレットと計算コストのトレードオフを制御する、指数的凹関数のための新しい適応的アルゴリズムを提案する。
• 強い凸関数に適応的から動的リグレットへの変換を適用し、$ O(\text{polylog}(T)\times\text{poly}(T,V_T)) $ の動的リグレットを達成する。
• 関数的変動 $ V_T = \sum_{t=2}^T \max_{\mathbf{w}} |f_t(\mathbf{w}) - f_{t-1}(\mathbf{w})| $ を正則性の指標として用い、動的リグレットの上界を導出する。
• リセット機構とベース$K$の区間分解を用いて、可変長区間におけるリグレットを管理する。

実験結果

リサーチクエスチョン

• RQ1 強い適応的リグレットを一般に用いて、動的リグレットを上界で抑えられるか？
• RQ2 適応的アルゴリズムを活用することで、関数的変動の事前知識がなくてもサブ線形な動的リグレットを達成できるか？
• RQ3 指数的凹関数は、オンライン学習におけるよりタイトな動的リグレット境界を導出するのに有用か？
• RQ4 提案手法は、凸関数、指数的凹関数、強い凸関数に対して最小最大最適な動的リグレットを達成できるか？

主な発見

• 動的リグレットは、強い適応的リグレットと関数的変動の和によって上界で抑えられ、両概念の一般理論的関係が確立された。
• 凸関数の場合、適応されたアルゴリズムの動的リグレットは $ O(T^{2/3}V_T^{1/3}\log^{1/3}T) $ であり、多項式対数因子を除いて最小最大レートと一致する。
• 指数的凹関数の場合、提案されたアルゴリズムは $ O(d\sqrt{TV_T\log T}) $ の動的リグレットを達成する。ここで $ d $ は次元を表し、動的リグレット解析における指数的凹関数の使用は初めてである。
• 強い凸関数の場合、動的リグレットは $ O(\sqrt{TV_T\log T}) $ であり、多項式対数因子を除いて最小最大最適である。
• 提案されたすべてのアルゴリズムは $ V_T $ の事前知識を必要とせず、これにより従来の手法に比べて顕著な利点が得られる。
• 理論的枠組みにより、適応的リグレットを構築要素として用いることで、異なる関数クラスにわたる動的リグレットの統一的最小化が可能になった。