[論文レビュー] Combinatorial Semi-Bandit in the Non-Stationary Environment

Wei Chen, Liwei Wang+2 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Bandit Algorithms Research参考文献 33被引用数 8

ひとこと要約

本稿では、報酬分布が時間とともに変化する非定常環境における組み合わせ的セミバンディットに対して、CUCB-SWおよびCUCB-BoBアルゴリズムを提案する。分布の変化に適応するための自己適合的探索とブロックベースのテストを用いることで、$\tilde{O}(m\tilde{N}T/\tilde{\Delta}_{\min})$（スイッチングケース）および$\tilde{O}(V^{1/3}T^{2/3})$（ダイナミックケース）というほぼ最適なレグレットバウンドを達成する。$N$ や $V$ のパラメータが未知であっても成立する。

ABSTRACT

In this paper, we investigate the non-stationary combinatorial semi-bandit problem, both in the switching case and in the dynamic case. In the general case where (a) the reward function is non-linear, (b) arms may be probabilistically triggered, and (c) only approximate offline oracle exists \cite{wang2017improving}, our algorithm achieves $ ilde{\mathcal{O}}(\sqrt{\mathcal{S} T})$ distribution-dependent regret in the switching case, and $ ilde{\mathcal{O}}(\mathcal{V}^{1/3}T^{2/3})$ in the dynamic case, where $\mathcal S$ is the number of switchings and $\mathcal V$ is the sum of the total ``distribution changes''. The regret bounds in both scenarios are nearly optimal, but our algorithm needs to know the parameter $\mathcal S$ or $\mathcal V$ in advance. We further show that by employing another technique, our algorithm no longer needs to know the parameters $\mathcal S$ or $\mathcal V$ but the regret bounds could become suboptimal. In a special case where the reward function is linear and we have an exact oracle, we design a parameter-free algorithm that achieves nearly optimal regret both in the switching case and in the dynamic case without knowing the parameters in advance.

研究の動機と目的

• 報酬の分布が時間とともに変化する非定常環境における組み合わせ的セミバンディットの課題に対処すること。
• 分布のスイッチ数 $N$ と平均報酬の総変動量 $V$ の2つの指標を用いて非定常性をモデル化すること。
• 分布依存および分布独立の両設定において、ほぼ最適なレグレットを達成するアルゴリズムの設計。
• $N$ や $V$ の事前知識が不要であることを保証するパラメータフリーな適応機構を導入し、最適でないが非線形のレグレットを維持すること。
• 線形報酬と正確なオフラインオラクルを仮定する特別なケースに拡張し、パrameterチューニングなしで最適なレグレットを達成すること。

提案手法

• 分布の変化を統計的検定で検知し、ブロックベースの探索と再起動を用いるCUCB-SWアルゴリズムを導入する。
• 濃度不等式とレグレット分解を適用し、期待レグレットを $N$、$V$、$\Delta_{\min}$ の関数としてバウンドする。
• 変動量と報酬の逸脱のバウンドを用いて、分布シフトを検出するためのEndOfBlockTestおよびEndOfReplayTestを設計する。
• 凸包緩和を用いたFTRL（Follow-the-Regularized-Leader）を用いて、オフライン最適化問題を効率的に解く。
• 適応的ブロック長と探索を用いることで、$N$ や $V$ が未知であっても適応可能なパラメータフリーな変種CUCB-BoBを導入する。
• 行動上のスパースな分布と正確なオフラインオラクルを活用し、高次元の組み合わせ的空間においても効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 報酬分布が時間とともに変化する状況において、組み合わせ的セミバンディットでほぼ最適なレグレットを達成できるか。
• RQ2 環境が非定常である場合、バンディットアルゴリズムの性能はどの程度劣化し、その根本的限界は何か。
• RQ3 $N$ や $V$ の事前知識がなくとも、未知の非定常性に適応可能なパラメータフリーのアルゴリズムを設計できるか。
• RQ4 非線形報酬関数や確率的に入射するアームが、非定常設定におけるレグレットに与える影響は何か。
• RQ5 線形報酬と正確なオラクルを仮定する特別なケースにおいて、パrameterチューニングなしで最適なレグレットを達成できるか。

主な発見

• CUCB-SWはスイッチングケースにおいて$\tilde{O}(m\tilde{N}T/\Delta_{\min})$の分布依存レグレットを達成し、最適バウンドにほぼ一致する。
• ダイナミックケースにおいて、CUCB-SWは$\tilde{O}(V^{1/3}T^{2/3})$の分布独立レグレットを達成し、これはほぼ最適である。
• CUCB-BoBは、$N < cT^\gamma$ または $V \leq cT^\gamma$（$\gamma < 1$）を満たす場合、$N$ や $V$ を事前に知らない状態でも $T$ に対して非線形のレグレットを達成する。
• 線形報酬と正確なオラクルを仮定する場合、Ada-LCMABは$N$ や $V$ の事前知識がなくてもほぼ最適なレグレットを達成する。
• 理論的分析により、レグレットバウンドが対数要因を除いてタイトであることが確認され、濃度不等式とブロックベースのテストに依存した証明が行われた。
• これらのアルゴリズムは非線形報酬や確率的に入射するアームに対してもロバストであり、定常的かつ線形設定における先行研究を拡張している。