[論文レビュー] Strongly Adaptive Regret Implies Optimally Dynamic Regret.

Lijun Zhang, Tianbao Yang+2 more|arXiv (Cornell University)|Jan 26, 2017

Advanced Bandit Algorithms Research参考文献 17被引用数 7

ひとこと要約

本稿は、適応的リグレットと動的リグレットの間の理論的関係を確立し、動的リグレットが適応的リグレットと関数的変動を用いて有界であることを示している。凸関数、指数的凹関数、強い凸関数に対して、関数的変動の事前知識が不要な最小最大最適な動的リグレットを達成する強力な適応的アルゴリズムを提案している。

ABSTRACT

To cope with changing environments, recent developments in online learning have introduced the concepts of adaptive regret and dynamic regret independently. In this paper, we illustrate an intrinsic connection between these two concepts by showing that the dynamic regret can be expressed in terms of the adaptive regret and the functional variation. This observation implies that strongly adaptive algorithms can be directly leveraged to minimize the dynamic regret. As a result, we present a series of strongly adaptive algorithms whose dynamic regrets are minimax optimal for convex functions, exponentially concave functions, and strongly convex functions, respectively. To the best of our knowledge, this is the first time that such kind of dynamic regret bound is established for exponentially concave functions. Moreover, all of those adaptive algorithms do not need any prior knowledge of the functional variation, which is a significant advantage over previous specialized methods for minimizing dynamic regret.

研究の動機と目的

• オンライン学習における適応的リグレットと動的リグレットの間の理論的関係を確立すること。
• 強力な適応的アルゴリズムが直接的に動的リグレットを最小化できることを示すこと。
• 異なる関数クラスに対して最小最大最適な動的リグレットを達成する新しい適応的アルゴリズムを開発すること。
• 動的リグレット最小化において関数的変動の事前知識が不要になるようにすること。

提案手法

• 本稿は、動的リグレットを適応的リグレットと関数的変動の関数として表す一般式を導出している。
• 既存の強力な適応的アルゴリズムを構築の基盤として用い、動的リグレット最小化戦略を構築している。
• このアプローチは、凸関数、指数的凹関数、強い凸関数に適用可能であり、各クラスに特化したアルゴリズム設計がなされている。
• アルゴリズムは、事前に関数的変動を知る必要がないように設計されている。
• 理論的解析により、各関数クラスに対して動的リグレットの境界が最小最大最適であることが示されている。
• 適応的リグレット分解を通じて、異なる関数タイプにおける動的リグレットの取り扱いを統一するフレームワークが構築されている。

実験結果

リサーチクエスチョン

• RQ1 非定常環境において、適応的リグレットはどのようにして動的リグレットを有界化できるか？
• RQ2 関数的変動の事前知識がなくても、強力な適応的アルゴリズムは最小最大最適な動的リグレットを達成できるか？
• RQ3 オンライン学習における関数的変動と動的リグレットの関係は何か？
• RQ4 指数的凹関数に対して、新しい動的リグレット境界は存在するか？
• RQ5 複数の関数クラスにわたる動的リグレット最小化のための統一されたフレームワークは開発可能か？

主な発見

• 動的リグレットは、適応的リグレットと関数的変動の関数として表現可能であり、両者の間の根本的な理論的関係が確立された。
• 提案されたアルゴリズムは、凸関数に対して最小最大最適な動的リグレットを達成しており、既知の下界と一致する。
• 指数的凹関数に対しては、本稿が初めて知られている最小最大最適な動的リグレット境界を確立した。
• 強い凸関数に対しては、関数的変動の事前知識が不要な状態で、提案されたアルゴリズムが最小最大最適な動的リグレットを達成している。
• すべてのアルゴリズムは強力な適応的であり、関数的変動に関するあらゆる事前情報が不要であり、従来の専用手法を改善している。