[論文レビュー] Tracking the Best Expert in Non-stationary Stochastic Environments

Chen-Yu Wei, Yi-Te Hong+1 more|arXiv (Cornell University)|Dec 2, 2017

Advanced Bandit Algorithms Research参考文献 13被引用数 16

ひとこと要約

本稿では、非定常な確率的環境における損失分布の総統計的分散を測る新しいパラメータ $Λ$ を導入し、マルチアームバンディットおよびフルインフォメーション設定におけるレグレット解析を精緻化する。定数 $Λ$ であっても、バンディットレグレットは $T$ とともに増加するが、定数 $Γ$ および $Λ$ であればフルインフォメーションレグレットは定数に保たれ、定数 $V$ および $Λ$ であれば $T^{1/3}$ 依存性を示す。上界と下界が一致する結果が得られている。

ABSTRACT

We study the dynamic regret of multi-armed bandit and experts problem in non-stationary stochastic environments. We introduce a new parameter $Λ$, which measures the total statistical variance of the loss distributions over $T$ rounds of the process, and study how this amount affects the regret. We investigate the interaction between $Λ$ and $Γ$, which counts the number of times the distributions change, as well as $Λ$ and $V$, which measures how far the distributions deviates over time. One striking result we find is that even when $Γ$, $V$, and $Λ$ are all restricted to constant, the regret lower bound in the bandit setting still grows with $T$. The other highlight is that in the full-information setting, a constant regret becomes achievable with constant $Γ$ and $Λ$, as it can be made independent of $T$, while with constant $V$ and $Λ$, the regret still has a $T^{1/3}$ dependency. We not only propose algorithms with upper bound guarantee, but prove their matching lower bounds as well.

研究の動機と目的

• 損失分布の総統計的分散を測る新しいパラメータ $Λ$ を導入することで、非定常な確率的オンライン学習におけるレグレットに及ぼす非定常性の影響を理解すること。
• $Λ$（分布変化回数）、$Γ$（損失分布の変化回数）、$V$（平均の総偏差）の間の相互作用が、レグレットバウンドをどのように決定するかを分析すること。
• 非定常な確率的設定における既存の上界と下界のギャップを、一致するレグレット下界の証明によって埋めること。

提案手法

• 損失分布の分散の合計として $Λ$ を定義し、$Γ$ や $V$ に加えて非定常性をより精緻に測る指標を提供する。
• 敵対的損失分布系列の構築により、任意のアルゴリズムが高レグレットを被るよう強制する還元に基づく証明戦略を用いる。
• KLダイバージェンスと集中不等式を活用し、条件付き期待値の議論を用いて、時間区間内での非最適なアーム選択回数の期待値をバウンドする。
• 長さ $B = \sqrt[3]{\Lambda T / (32K V^2)}$ の区間において、分散と平均の変動が有界となるように損失分布を再帰的に構築する。
• Lemma 4.4 を用いて、制御された平均ギャップ $\epsilon$、分散 $\sigma^2$、KLダイバージェンス $\leq \epsilon^2 / \sigma^2$ を満たす分布 $\mathcal{P}$ と $\mathcal{Q}$ の存在を保証し、タイトなレグレット解析を可能にする。
• $\Lambda$、$V$、$\Gamma$、$T$ のトレードオフを分析することで、バンディット設定およびフルインフォメーション設定の両方で一致する上界と下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 損失分布の総統計的分散 $\Lambda$ は、非定常な確率的環境におけるレグレットにどのように影響するか？
• RQ2 非定常性が $\Gamma$ と $\Lambda$ で有界であっても、$T$ が増加してもフルインフォメーション設定で定数レグレットを達成できるか？
• RQ3 非定常な確率的オンライン学習において、$\Gamma$、$V$、$\Lambda$ がすべて定数のとき、レグレットの根本的限界は何か？
• RQ4 $\Lambda$、$V$、$\Gamma$ がどのように相互作用して、非定常な確率的オンライン学習におけるレグレット下界を形作るか？
• RQ5 定数 $V$ および $\Lambda$ の下で、フルインフォメーション設定においても $T^{1/3}$ 依存性が避けられないか？

主な発見

• バンディット設定では、定数 $\Gamma$、$V$、$\Lambda$ であっても、レグレット下界が $\Omega(\sqrt[3]{\Lambda V T} + \sqrt{V T})$ として増加し、非定常性が有界であっても $T$ 依存性が残ることを示している。
• フルインフォメーション設定では、$\Gamma$ と $\Lambda$ が有界であれば定数レグレットが達成可能であり、$T$ に依存しない。
• 定数 $V$ および $\Lambda$ の下で、フルインフォメーション設定におけるレグレット下界は $\Omega(\sqrt[3]{\Lambda V T})$ であり、上界と一致しており、$T^{1/3}$ 依存性が避けられないことを示している。
• 本稿では、$\sqrt[3]{\Lambda V T}$ 項がフルインフォメーション設定およびバンディット設定の両方でタイトであることを証明し、一致する上界と下界を示している。
• Lemma 4.4 を用いて、制御された平均ギャップ、分散、KLダイバージェンスを持つ分布 $\mathcal{P}$ と $\mathcal{Q}$ の存在が正式に確立されており、レグレット下界のための困難なインスタンスの構築を可能にしている。
• 解析により、バンディット設定はフルインフォメーション設定よりも根本的に困難であることが判明しており、$\Lambda$、$\Gamma$、$V$ が有界であっても、$T$ 依存性が完全に排除されない。