[論文レビュー] Cheap Bandits

Manjesh K. Hanawal, Venkatesh Saligrama+2 more|arXiv (Cornell University)|Jun 15, 2015

Advanced Bandit Algorithms Research参考文献 30被引用数 20

ひとこと要約

この論文では、グラフ上の滑らかな報酬構造を活用して、既存の手法と同等のレグレット性能を維持しながらセンシングコストを最小化するbanditアルゴリズム、CheapUCBを提案する。グループレベルの平均報酬観測（個々の行動の観測よりも安価）を活用することで、コストが線形にスケーリングされ、有効次元$d$のグラフにおけるスペクトルバンディットのレグレットに対して$O(\sqrt{dT})$の下界を確立する。

ABSTRACT

We consider stochastic sequential learning problems where the learner can observe the extit{average reward of several actions}. Such a setting is interesting in many applications involving monitoring and surveillance, where the set of the actions to observe represent some (geographical) area. The importance of this setting is that in these applications, it is actually extit{cheaper} to observe average reward of a group of actions rather than the reward of a single action. We show that when the reward is extit{smooth} over a given graph representing the neighboring actions, we can maximize the cumulative reward of learning while extit{minimizing the sensing cost}. In this paper we propose CheapUCB, an algorithm that matches the regret guarantees of the known algorithms for this setting and at the same time guarantees a linear cost again over them. As a by-product of our analysis, we establish a $\Omega(\sqrt{dT})$ lower bound on the cumulative regret of spectral bandits for a class of graphs with effective dimension $d$.

研究の動機と目的

• グループの平均報酬を観測するコストが個々の行動の観測よりも安価であるような順序学習問題に対処すること。
• 監視やモニタリング応用における隣接する行動を表すグラフ構造上での報酬の滑らかさをモデル化すること。
• センシングコストを最小化しつつ、最適なレグレット性能を維持するアルゴリズムを設計すること。
• 有効次元$d$のグラフにおけるスペクトルバンディットのレグレットに対する根本的な下界を確立すること。

提案手法

• 隣接する行動が類似した報酬を持つことから、報酬をグラフ上での滑らかさとしてモデル化する。
• 個々の行動報酬の観測よりも安価なグループレベルの平均報酬観測をフィードバックとして使用する。
• 上側信頼区間に基づいて観測対象の行動グループを選択する、UCBに基づくCheapUCBアルゴリズムを設計する。
• グラフのスペクトル特性を活用してレグレットをバウンディングし、コスト効率を保証する。
• グラフの有効次元$d$を用いた滑らかさ仮定の下でレグレットを分析する。
• 有効次元$d$のグラフクラスに対して、累積レグレットの$ Omega(\sqrt{dT})$の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 グループ平均報酬を用いることで、レグレット性能を損なわずにセンシングコストを低減できるbanditアルゴリズムを設計できるか？
• RQ2 グラフ上での報酬の滑らかさは、順序学習におけるセンシングコストとレグレットのトレードオフにどのように影響するか？
• RQ3 有効次元$d$のグラフにおけるスペクトルバンディットのレグレットに対する根本的限界は何か？
• RQ4 標準的なbanditアルゴリズムと同等のレグレット保証を維持しつつ、センシングにおいて線形コストスケーリングを達成できるか？

主な発見

• CheapUCBは、標準的なbanditアルゴリズムと同等のレグレット保証を達成しながら、センシングコストを線形スケーリングにまで低減する。
• アルゴリズムはグラフ上の報酬の滑らかさを活用して効率的なグループ観測を実現し、運用コストを顕著に低減する。
• 有効次元$d$のグラフにおけるスペクトルバンディットの累積レグレットに対して$ Omega(\sqrt{dT})$の下界が確立された。
• この下界は、CheapUCBのレグレットスケーリングが、このクラスのグラフにおいて情報理論的に最適であることを確認する。
• 結果は、滑らかな報酬仮定の下で、グループ観測がコスト効率的であるだけでなく理論的にも妥当であることを示している。
• 分析により、特にその有効次元が関与するグラフのスペクトル特性が、この設定におけるレグレットの根本的限界を直接決定することが明らかになった。