[論文レビュー] Online Learning for Changing Environments using Coin Betting

Kwang-Sung Jun, Francesco Orabona+2 more|arXiv (Cornell University)|Nov 6, 2017

Advanced Bandit Algorithms Research参考文献 4被引用数 3

ひとこと要約

本稿では、変化する環境における強い適応性を達成する新しいメタアルゴリズム、Coin Betting for Changing Environments (CBCE) を提案する。この手法は、$ olimits ext{時間複雑度が同程度の既存手法と比較して} \sqrt{\log T}$ だけ優れた、$ \sqrt{(I_2 - I_1)\log(I_2)}$ の強い適応的レジストバウンドを達成する。この手法は、コインベーティング問題へのパrameter-free 減少を活用して、スリーピングエキスパート問題を扱い、1次レジストバウンドを達成し、エキスパートアドバイスおよびメトリック学習のタスクにおいて、最先端の手法を上回る性能を示す。

ABSTRACT

A key challenge in online learning is that classical algorithms can be slow to adapt to changing environments. Recent studies have proposed "meta" algorithms that convert any online learning algorithm to one that is adaptive to changing environments, where the adaptivity is analyzed in a quantity called the strongly-adaptive regret. This paper describes a new meta algorithm that has a strongly-adaptive regret bound that is a factor of $\sqrt{\log(T)}$ better than other algorithms with the same time complexity, where $T$ is the time horizon. We also extend our algorithm to achieve a first-order (i.e., dependent on the observed losses) strongly-adaptive regret bound for the first time, to our knowledge. At its heart is a new parameter-free algorithm for the learning with expert advice (LEA) problem in which experts sometimes do not output advice for consecutive time steps (i.e., \emph{sleeping} experts). This algorithm is derived by a reduction from optimal algorithms for the so-called coin betting problem. Empirical results show that our algorithm outperforms state-of-the-art methods in both learning with expert advice and metric learning scenarios.

研究の動機と目的

• 非定常環境下でのオンライン学習における遅い適応の課題に対処すること。
• 既存手法よりもタイトな強い適応的レジストバウンドを達成するメタアルゴリズムを開発すること。
• 時間枠ではなく観測された損失に依存する1次レジストバウンドを拡張すること。
• コインベーティング問題への還元を介して、パrameter-freeなスリーピングエキスパート問題の解決法を提供すること。
• エキスパートアドバイスおよびメトリック学習のシナリオにおいて、実験的に優れた性能を確認すること。

提案手法

• コアとなる手法は、スリーピングエキスパートを伴う学習とエキスパートアドバイス（LEA）問題をコインベーティング問題へ還元することであり、これによりパrameter-free 最適化が可能になる。
• 時間の区間を管理し、すべての部分区間におけるレジストをバウンドするために、幾何的被覆（GC）またはデータストリーミング（DS）の区間分解が用いられる。
• 区間の重複構造と累積損失の追跡を活用して、強い適応的レジストバウンドを導出するための新しいレジスト分解技術が適用される。
• 最適なコインベーティング戦略から導かれるパrameter-free 更新ルールが組み込まれており、調整なしに損失パターンに動的に適応する。
• 時間複雑度要因として $\log T$ を達成し、最高水準のメタアルゴリズムと同等の性能を示す一方で、レジストバウンドを $\sqrt{\log T}$ 要因改善する。
• 理論的分析により、SA-Regret が $O\left(\sqrt{(I_2 - I_1)\log(I_2)}\right)$ でバウンドされることを証明しており、以前の $O\left(\sqrt{(I_2 - I_1)\log^2(I_2)}\right)$ のバウンドを改善している。

実験結果

リサーチクエスチョン

• RQ1 時間複雑度が同程度の既存手法と比較して、$\sqrt{\log T}$ だけ優れた強い適応的レジストバウンドを達成できるメタアルゴリズムを設計できるか？
• RQ2 時間枠ではなく観測された損失に依存する1次レジストバウンドを導出することは可能か？
• RQ3 コインベーティング問題への還元を介して、パrameter-free スリーピングエキスパート問題のアルゴリズムを構築できるか？
• RQ4 提案手法は、動的環境下で最先端の手法と比較して実際の性能が優れているか？
• RQ5 幾何的被覆とデータストリーミングの区間分解を用いる場合の理論的および実用的意味は何か？

主な発見

• 提案された CBCE アルゴリズムは、$O\left(\sqrt{(I_2 - I_1)\log(I_2)}\right)$ の強い適応的レジストバウンドを達成し、時間複雑度が同程度の既存手法と比較して $\sqrt{\log T}$ だけ優れている。
• このアルゴリズムは、時間枠 $T$ ではなく観測された損失に依存する1次強い適応的レジストバウンドを達成する最初の手法である。
• 実験結果から、変化する環境下でエキスパートアドバイスおよびメトリック学習のタスクにおいて、CBCE は最先端の手法を上回る性能を示している。
• スリーピングエキスパートからコインベーティング問題への還元により、ハイパーパrameter の調整なしに適応するパrameter-free アルゴリズムが実現可能である。
• 理論的分析により、幾何的被覆およびデータストリーミングの区間分解の両方において、アルゴリズムが強いレジスト保証を維持することが確認されており、定数要因のわずかな差異があるにとどまる。
• この手法は、いつでもレジストバウンドを持つブラックボックスアルゴリズムに対してロバストであり、ダブリングトリックを用いることで固定予算アルゴリズムへも適応可能である。