[論文レビュー] Adaptive Exploration-Exploitation Tradeoff for Opportunistic Bandits

Huasen Wu, Xueying Guo+1 more|arXiv (Cornell University)|Sep 12, 2017

Advanced Bandit Algorithms Research参考文献 15被引用数 15

ひとこと要約

本稿では、負担や価格などの外部要因に応じて、非最適な腕を選択した際のレグレットが変化する『機会的バンディット』を導入する。AdaUCB と呼ばれる、低レグレット状態（例：低負荷・低価格時）では探索を増やす適応的 Upper-Confidence-Bound アルゴリズムを提案し、UCB よりも係数が小さい O(log T) のレグレットを達成するとともに、低負荷条件下で探索コストがゼロの場合は O(1) のレグレットを達成する。

ABSTRACT

In this paper, we propose and study opportunistic bandits - a new variant of bandits where the regret of pulling a suboptimal arm varies under different environmental conditions, such as network load or produce price. When the load/price is low, so is the cost/regret of pulling a suboptimal arm (e.g., trying a suboptimal network configuration). Therefore, intuitively, we could explore more when the load/price is low and exploit more when the load/price is high. Inspired by this intuition, we propose an Adaptive Upper-Confidence-Bound (AdaUCB) algorithm to adaptively balance the exploration-exploitation tradeoff for opportunistic bandits. We prove that AdaUCB achieves $O(\log T)$ regret with a smaller coefficient than the traditional UCB algorithm. Furthermore, AdaUCB achieves $O(1)$ regret with respect to $T$ if the exploration cost is zero when the load level is below a certain threshold. Last, based on both synthetic data and real-world traces, experimental results show that AdaUCB significantly outperforms other bandit algorithms, such as UCB and TS (Thompson Sampling), under large load/price fluctuations.

研究の動機と目的

• 従来のバンディットでは非最適腕のレグレットが一定であるという制限に対処するため、ネットワーク負荷や商品価格といった外部要因に応じてレグレットが変化する状況をモデル化すること。
• 最適腕は固定のまま、時間的に変化する環境的要因に依存してレグレットが変化する新しいバンディットフレームワーク「機会的バンディット」を提案すること。
• 低レグレット期間（例：低負荷または低価格時）を活用して探索を増やす適応的アルゴリズムを設計し、全体のレグレットを低減すること。
• 提案された AdaUCB アルゴリズムが、負荷の変動下で標準的な UCB や Thompson Sampling よりも理論的に低いレグレットを達成することを理論的分析および実験的検証すること。

提案手法

• 非最適腕のレグレットが時間的に変化する負荷または価格条件に依存する、機会的バンディットモデルを提案。その条件は腕の選択の前に明らかにされる。
• 負荷レベルに応じて探索を動的に調整する、UCB の適応的変種である AdaUCB を設計。負荷が低い（低レグレット）場合は高い探索、負荷が高い場合は高い活用を実現。
• 低負荷および高負荷のレジームを定義するための負荷閾値 $ l^{(-)}_{\rho} $ と $ l^{(+)}_{\rho} $ を用い、$ \rho $ は切り捨てに使用される尾部確率を制御する。
• 負荷依存のレグレットスケーリングを組み込んだ UCB の信頼区間を適応的に変更し、低レグレット期間中に不確実性の高い腕を優先的に選択可能にする。
• 極端な負荷値への感受性を低減し、性能を安定化させるために、切り捨てられた負荷分布を採用。
• ベルヌーイ分布およびベータ分布に従う負荷を用いた合成データ、および実際の MVNO システムのトラース（実ネットワーク性能データを含む）を用いてアルゴリズムを評価。

実験結果

リサーチクエスチョン

• RQ1 環境的要因（負荷や価格）に応じて非最適腕のコストが変化するバンディット問題において、適応的探索・活用戦略がレグレットを低減できるか？
• RQ2 低レグレット期間（例：低ネットワーク負荷や低商品価格時）を活用して探索を増やすことで、標準的な UCB よりも理論的に優れたレグレット性能が達成できるか？
• RQ3 探索コストがゼロとなる低負荷条件下で、提案された AdaUCB アルゴリズムが時間の経過 T に対して O(1) のレグレットを達成できるか？
• RQ4 合成的および実世界の設定において、負荷の大きな変動が生じる状況下で、AdaUCB は UCB や Thompson Sampling と比較してどれほどレグレットを低減できるか？
• RQ5 負荷分布の事前知識が不要であるという点で、E-AdaUCB のような変種が性能を示せるか、特に実用的応用に耐えるか？

主な発見

• AdaUCB は、従来の UCB よりも定数係数が小さい O(log T) のレグレットを達成し、理論的レグレットバウンドの改善を示した。
• 負荷が閾値未満である場合に探索コストがゼロとなる条件では、AdaUCB は T に対して O(1) のレグレットを達成し、有利な環境下でほぼ最適な性能を示した。
• 二項分布およびベータ分布に従う負荷を用いた合成実験では、AdaUCB は UCB(α) や Thompson Sampling より顕著に優れており、特に負荷の変動が大きい場合に顕著であった。
• 実世界の MVNO トレースでは、AdaUCB は UCB(α) のレグレットのおよそ1/3にまで低減した。実用的効果が明確に示された。
• 負荷分布の事前知識が不要な E-AdaUCB 変種は、実際の運用において AdaUCB と区別できない性能を示し、ロバストネスと実世界への適用可能性を示した。
• 結果から、負荷の変動を活用した適応的探索の活用が、特に環境の変動が大きく頻繁に発生する状況で顕著な性能向上をもたらすことが確認された。