[論文レビュー] Adaptive Online Learning in Dynamic Environments

Lijun Zhang, Shiyin Lu+1 more|arXiv (Cornell University)|Oct 25, 2018

Advanced Bandit Algorithms Research参考文献 14被引用数 52

ひとこと要約

本論文は、一般的な動的環境に対して最適な動的後悔境界を達成する適応オンライン学習手法 Ader を提案する。各ラウンドあたりの勾配評価を1に抑える改良版と、ダイナミックモデルへの拡張も示されている。

ABSTRACT

In this paper, we study online convex optimization in dynamic environments, and aim to bound the dynamic regret with respect to any sequence of comparators. Existing work have shown that online gradient descent enjoys an $O(\sqrt{T}(1+P_T))$ dynamic regret, where $T$ is the number of iterations and $P_T$ is the path-length of the comparator sequence. However, this result is unsatisfactory, as there exists a large gap from the $Ω(\sqrt{T(1+P_T)})$ lower bound established in our paper. To address this limitation, we develop a novel online method, namely adaptive learning for dynamic environment (Ader), which achieves an optimal $O(\sqrt{T(1+P_T)})$ dynamic regret. The basic idea is to maintain a set of experts, each attaining an optimal dynamic regret for a specific path-length, and combines them with an expert-tracking algorithm. Furthermore, we propose an improved Ader based on the surrogate loss, and in this way the number of gradient evaluations per round is reduced from $O(\log T)$ to $1$. Finally, we extend Ader to the setting that a sequence of dynamical models is available to characterize the comparators.

研究の動機と目的

• 任意の比較者列に対して動的後悔を境界づけることにより、変化する環境下でのロバストなオンライン学習を動機づける。
• 一般的な動的後悔に対する厳密な下界を確立し、対応する上界を達成するアルゴリズムを開発する。
• 異なるパス長の最適解を持つ複数のエキスパートを組み合わせる適応フレームワークを開発する。
• 性能を損なうことなく、代理損失に基づく variante によって勾配クエリの複雑性を低減する。
• 比較者を支配する一連の動的モデルが設定される状況へアプローチを拡張する。

提案手法

• 特定のパス長に対して最適な複数のエキスパートを保持し、それらを並列に実行する。
• 各ラウンドで最良のエキスパートを追跡するため、メタアルゴリズム（指数重み付き）を用いる。
• エキスパートアルゴリズムは、異なるステップサイズを持つオンライン勾配降下法のインスタンスである。
• 改良版では、勾配評価をO(log T)から各ラウンド1に減らす代理損失を導入する。
• Ader を一連の動的モデルを組み込み、P_T′ に関して後悔を分析するよう拡張する。
• 全体の動的後悔境界が O( sqrt( T(1+P_T) ) ) であることを示す証明を提供する。

実験結果

リサーチクエスチョン

• RQ1 オンライン凸最適化における一般的な動的後悔のミニマックス下界は何か。
• RQ2 任意の比較者列に対して適応的に最適な O(sqrt(T(1+P_T))) の動的後悔を達成するアルゴリズムを設計できるか。
• RQ3 後悔性能を犠牲にせずに、勾配評価の回数をいかに削減できるか。
• RQ4 このフレームワークは一連の動的モデルの系列を取り込み、P_T′ の観点で厳密な境界を導出できるか。
• RQ5 最適な後悔を維持しつつ、動的モデルを扱うためにどのような拡張が現実的か。

主な発見

• Ader は一般的な動的環境において最適な O(sqrt(T(1+P_T))) の動的後悔を達成する。
• 一般的な動的後悔に対して Omega(sqrt(T(1+P_T))) の下界が確立される。
• 勾配評価を各ラウンドで O(log T) から 1 に削減する代理損失を用いた改良版 Ader。
• 代理損失のバージョンを用いても後悔境界は O(sqrt(T(1+P_T))) のままである。
• 収束に基づく動的モデルへの拡張は O(sqrt(T(1+P_T′))) の動的後悔を生み出し、先行結果を改善する。
• 境界は比較者列のパス長に適応し、比較者の移動が遅い場合に小さくなる。