[論文レビュー] Cost-aware Cascading Bandits

Ruida Zhou, Chao Gan+2 more|arXiv (Cornell University)|May 22, 2018

Advanced Bandit Algorithms Research参考文献 3被引用数 6

ひとこと要約

本稿では、アイテムの検査にランダムで非一様なコストを組み込んだ、コストを考慮したカスケadingバンドイット（CCB）モデルを導入する。オンライン学習のためのCC-UCBアルゴリズムを提案し、$O(\log T)$のオーダーで最適なレグレットスケーリングを証明するとともに、下界も一致させ、統計が既知の場合の最適オフライン方策UCR-T1を同定する。

ABSTRACT

In this paper, we propose a cost-aware cascading bandits model, a new variant of multi-armed ban- dits with cascading feedback, by considering the random cost of pulling arms. In each step, the learning agent chooses an ordered list of items and examines them sequentially, until certain stopping condition is satisfied. Our objective is then to max- imize the expected net reward in each step, i.e., the reward obtained in each step minus the total cost in- curred in examining the items, by deciding the or- dered list of items, as well as when to stop examina- tion. We study both the offline and online settings, depending on whether the state and cost statistics of the items are known beforehand. For the of- fline setting, we show that the Unit Cost Ranking with Threshold 1 (UCR-T1) policy is optimal. For the online setting, we propose a Cost-aware Cas- cading Upper Confidence Bound (CC-UCB) algo- rithm, and show that the cumulative regret scales in O(log T ). We also provide a lower bound for all α-consistent policies, which scales in Ω(log T ) and matches our upper bound. The performance of the CC-UCB algorithm is evaluated with both synthetic and real-world data.

研究の動機と目的

• カスケadingバンドイットにおけるランダムで非一様なコストを伴う順序付きアイテムの検査をモデル化すること。
• アームの状態とコストの統計が既知である場合の最適オフライン方策を同定すること。
• 事前統計が不明な状況下で、探索とコストを考慮したランク付けをバランスさせるオンラインアルゴリズムを設計すること。
• 提案されたアルゴリズムのオーダー最適なレグレットバウンドを確立すること。
• Yandexのクリックログから得た合成的および実世界のデータを用いて、性能を検証すること。

提案手法

• 各アームプルにランダムコストが発生し、停止前に状態1のアイテムが見つかった場合にのみ報酬が得られる、コストを考慮したカスケadingバンドイット（CCB）モデルを提案する。
• 統計が既知の最適オフライン戦略として、$\theta_i / c_i$ でアームを順序付けし、最初の成功後には直ちに停止するユニットコストランクイング・スイッチ1（UCR-T1）方策を導入する。
• UCBスタイルの探索を用いてコストと報酬推定のバランスを取る、コストを考慮したカスケading上界信頼性（CC-UCB）アルゴリズムを開発する。
• 誤ったアーム順序付けと不適切な停止の2つの誤差事象を分析することで、上界および下界のレグレットバウンドを導出する。
• CC-UCBでしきい値ベースの停止ルールを採用し、コストを最小限に抑えつつ報酬確率を維持する。
• 合成的および実世界のデータ（Yandexのクリックログ）を用いて、コストと報酬の条件が変化する状況下でのアルゴリズム性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 アームの状態とコストの統計が既知である場合、コストを考慮したカスケadingバンドイットにおける最適方策は何か？
• RQ2 事前統計が不明な状況下で、オンラインアルゴリズムはどのようにしてコストと報酬を効果的にバランスさせるか？
• RQ3 この設定における任意の$\alpha$-一貫性方策のレグレットの根本的限界は何か？
• RQ4 CC-UCBアルゴリズムのパフォーマンスは、アーム数やコストの分散といったシステムパラメータにどのようにスケーリングされるか？
• RQ5 i.i.d.仮定がほぼ満たされる実世界のデータにおいて、CC-UCBアルゴリズムは非線形レグレットを維持するか？

主な発見

• UCR-T1方策はオフライン設定において最適であることが証明され、$\theta_i / c_i$ でアームを順序付けし、最初の成功後に停止する。
• CC-UCBアルゴリズムは$O(\log T)$の累積レグレットを達成し、導出された$\Omega(\log T)$の下界と一致するため、オーダー最適性が証明された。
• コスト統計が既知の場合、レグレットは顕著に減少する—例として、$K=6$、$L=3$、$\Delta_{L+1}=0.1$ のとき、$T=10^5$ で352.88 vs. 1,445.3。
• レグレットは$K$の増加とともに増加し、$L$の増加とともに減少する。$c$が不明な場合、特に$\Delta_{L+1}$が小さいとレグレットは高くなる。
• 実世界のYandexデータでは、累積レグレットは非線形に増加し、コスト$c$に単調に増加する傾向を示し、理論的スケーラビリティを確認した。
• i.i.d.仮定が完全に満たされない状況下でも、アルゴリズムは実世界のデータに対して頑健であることが確認された。