[論文レビュー] Proximal Online Gradient is Optimum for Dynamic Regret

Yawei Zhao, Shuang Qiu+1 more|arXiv (Cornell University)|Oct 8, 2018

Advanced Bandit Algorithms Research参考文献 49被引用数 11

ひとこと要約

本稿では、一般化された下界を証明することで、動的リグレットにおけるプロキシマルオンライン勾配（POG）が最適であることを確立している。この下界はPOGの上界と定数倍の差異で一致する。時間重み付き変動パラメータ $\beta$ を持つ一般化された動的制約を導入し、POGが $\mathcal{O}(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$ のリグレットを達成することを示しており、これは導出された下界と一致する。したがって、この枠組み下での動的リグレットにおける最適性が証明される。

ABSTRACT

In online learning, the dynamic regret metric chooses the reference (optimal) solution that may change over time, while the typical (static) regret metric assumes the reference solution to be constant over the whole time horizon. The dynamic regret metric is particularly interesting for applications such as online recommendation (since the customers' preference always evolves over time). While the online gradient method has been shown to be optimal for the static regret metric, the optimal algorithm for the dynamic regret remains unknown. In this paper, we show that proximal online gradient (a general version of online gradient) is optimum to the dynamic regret by showing that the proved lower bound matches the upper bound that slightly improves existing upper bound.

研究の動機と目的

• オンライン勾配法が動的リグレットに対して最適であるかどうか、特に動的パラメータ $D_0$ に依存する部分の観点から検証すること。
• 時間重み付き変動制約パラメータ $\beta$ を用いて動的リグレット枠組みを一般化し、進化する参照系列のより柔軟なモデリングを可能とすること。
• 非定常環境を追跡する際の本質的難易度を捉える、動的リグレットに対する新たな一般化された下界を導出すること。
• 既存の上界と理論的最小値のギャップを埋めるために、POG が時間枠 $T$ と動的要因 $D_\beta$ の間で最適なトレードオフを達成することを証明すること。

提案手法

• 本稿では、時間重み $t^\beta$ 要素を用いて参照系列 $\{{\bf y}_t\}$ の総変動を制限する一般化された動的制約 $\mathcal{L}_{D_\beta}^T$ を導入する。
• 凸関数 $F_t$ と閉凸関数 $H$ からなる合成目的関数 $f_t({\bf x}) = F_t({\bf x}) + H({\bf x})$ に対して、プロキシマルオンライン勾配（POG）アルゴリズムを分析する。
• リグレットのバウンディングにバーグマンダイバージェンスを用い、反復のバーグマンダイバージェンスと勾配・ステップサイズの関係を示す重要な不等式を導出する。
• 追跡誤差と最適化誤差のトレードオフを制御するために、非増加のステップサイズスケジュールを採用する。
• 上界の証明は、バーグマンダイバージェンスのテレスコピック和と、バーグマンダイバージェンスの三角不等式の使用に依存する。
• 下界は、任意のアルゴリズムが少なくとも $\Omega(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$ のリグレットを被るよう設計された最悪ケースの関数系列を構築することで、新たに導出される。

実験結果

リサーチクエスチョン

• RQ1 オンライン勾配法は動的リグレットに対して最適であるか、それともより知的なアルゴリズムが $D_0$ パラメータに依存する部分をより良くできるか？
• RQ2 非定常環境を追跡する難易度は、時間と最適解系列の変化率にどのように依存するか？
• RQ3 非定常環境の追跡難易度を捉える、広範なオンライン学習問題のクラスに一般化可能な下界を導出できるか？
• RQ4 プロキシマルオンライン勾配（POG）アルゴリズムは、この下界に達しているか。それにより、動的リグレットにおけるPOGの最適性が証明されるか？

主な発見

• 一般化された動的制約 $\mathcal{L}_{D_\beta}^T$ の下で、プロキシマルオンライン勾配（POG）アルゴリズムは、$\mathcal{O}(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$ の動的リグレット上界を達成する。これは、以前の結果を一般化するものである。
• $\beta = 0$ の場合、上界は $\mathcal{O}(\sqrt{T} + \sqrt{T} D_0)$ に簡略化され、標準的動的リグレットの既知の結果と一致する。
• $\beta > 0$ の場合、$D_\beta < D_0 T^\beta$ が成り立つと、$\beta = 0$ の場合に比べて動的要因に依存する部分が改善され、時間重み付き制約下でのより良い依存関係が得られる。
• 本稿では、動的リグレットに対する一般化された下界 $\Omega(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$ を導出している。これはPOGの上界と定数倍の差異で一致する。
• 下界と上界の一致により、提案された一般化された枠組み下でPOGが動的リグレットに対して最適であることが証明される。
• この結果は、与えられた動的制約下では、$\mathcal{O}(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$ よりも良いリグレットバウンディングを達成できるアルゴリズムは存在しないことを示しており、POGが最適なアルゴリズムであることを確立する。