[論文レビュー] Minimizing Dynamic Regret and Adaptive Regret Simultaneously

Lijun Zhang, Shiyin Lu+1 more|arXiv (Cornell University)|Feb 6, 2020

Advanced Bandit Algorithms Research参考文献 31被引用数 12

ひとこと要約

本稿では、オンライン凸最適化における動的リグレットと適応的リグレットの両方を同時に最小化する2つの新しいオンライン学習アルゴリズム—AODおよびAOA—を提案する。階層的構造の専門家と適応的インターバル管理を活用することで、両手法は、$O(\sqrt{\tau \log T})$ の適応的リグレットおよび $O(\sqrt{T(1+P_T)\log T})$ および $O(\sqrt{T(\log T + P_T)})$ の動的リグレットという、最先端の境界を達成する。AOAは、任意の区間における最適な動的リグレットを保証する点でも特筆される。

ABSTRACT

Regret minimization is treated as the golden rule in the traditional study of online learning. However, regret minimization algorithms tend to converge to the static optimum, thus being suboptimal for changing environments. To address this limitation, new performance measures, including dynamic regret and adaptive regret have been proposed to guide the design of online algorithms. The former one aims to minimize the global regret with respect to a sequence of changing comparators, and the latter one attempts to minimize every local regret with respect to a fixed comparator. Existing algorithms for dynamic regret and adaptive regret are developed independently, and only target one performance measure. In this paper, we bridge this gap by proposing novel online algorithms that are able to minimize the dynamic regret and adaptive regret simultaneously. In fact, our theoretical guarantee is even stronger in the sense that one algorithm is able to minimize the dynamic regret over any interval.

研究の動機と目的

• 既存のオンライン学習アルゴリズムが、動的リグレットまたは適応的リグレットのいずれかの性能指標に最適化されているが、変化する環境に適応できないという限界を解消すること。
• 動的リグレットと適応的リグレットのギャップを埋めるために、両指標を同時に最小化する統一的なアルゴリズムフレームワークを設計すること。
• アルゴリズムが、全時間区間だけでなく、任意の時間区間においても動的リグレットを最小化できることを保証することで、より強い理論的保証を達成すること。
• パス長の正則性と対数因子を組み込むことで、先行研究を改善し、両指標においてほぼ最適な境界を達成すること。

提案手法

• 複数の専門家アルゴリズムが異なる有効期間をもって並列に実行され、それらの意思決定がメタアルゴリズムによって統合される階層的専門家追跡フレームワークを用いる。
• AODでは、OGD（オンライン勾配降下）をベースの専門家アルゴリズムとして採用し、専用に設計されたインターバルを用いて専門家の有効期間を管理し、連続的な実行におけるウォームスタートを可能にする。
• AOAでは、Aderアルゴリズムをベースの専門家として採用し、動的活性化・非活性化メカニズムを導入することで、区間全体で安定した性能を維持する。
• ジェンセンの不等式とリグレット分解技術を適用し、メタリグレットをバインドし、区間固有の境界を任意の区間へ拡張する。
• 任意の区間 $[r,s]$ における動的リグレットを、部分区間 $I_i$ に分解し、幾何級数のバインドを用いてスケールごとの累積誤差を制御する。
• パス長 $P_T = \sum_{t=1}^{T-1} \|\mathbf{u}_{t+1} - \mathbf{u}_t\|_2$ をコンパレータ系列の変動性の指標として用い、タイトな動的リグレット境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 非定常環境下で、オンライン学習アルゴリズムが同時にサブ線形な適応的リグレットとサブ線形な動的リグレットを達成できるか？
• RQ2 全時間区間ではなく、任意の時間区間においても動的リグレットを最小化できる単一のアルゴリズムを設計することは可能か？
• RQ3 パス長と対数因子を併用することで、動的リグレットの理論的境界を改善できるか？
• RQ4 固定インターバルと動的活性化という異なる専門家管理戦略は、適応的リグレットと動的リグレットのトレードオフにどのように影響するか？

主な発見

• AODアルゴリズムは、$O(\sqrt{\tau \log T})$ の適応的リグレットおよび $O(\sqrt{T(1+P_T)\log T})$ の動的リグレットを達成し、それぞれの指標について既存の最先端境界と一致する。
• AOAアルゴリズムは、$O(\sqrt{\tau \log T})$ の適応的リグレットおよび $O(\sqrt{T(\log T + P_T)})$ の動的リグレットを達成し、$P_T$ および $\log T$ への依存がよりタイトである。
• AOAは、より強い保証を提供する：任意の区間 $[r,s]$ においてもサブ線形な動的リグレットを保証する。
• 理論的解析により、両アルゴリズムがほぼ最適な動的リグレット境界を達成することが示され、標準仮定下では $\log T$ 要因を回避できないことが判明した。
• dyadic区間におけるリグレットの分解と幾何級数のバインドの使用により、スケールごとの累積誤差がきめ細かく制御可能である。
• 境界は標準仮定の下で導出されている：勾配の有界性（$G$）、定義域の直径の有界性（$D$）、損失関数の凸性。