[論文レビュー] Cascading Bandits: Learning to Rank in the Cascade Model

Branislav Kveton, Csaba Szepesvári+2 more|arXiv (Cornell University)|Feb 10, 2015

Advanced Bandit Algorithms Research参考文献 29被引用数 110

ひとこと要約

本稿では、ユーザーが順序付きリストから最初に魅力的なアイテムを選択する『カスケードモデル』における順序付けの学習を対象とする、確率的組み合わせ的部分監視フレームワークであるカスケードバンドイットを導入する。著者らは、UCBに基づく2つのアルゴリズム、CascadeUCB1およびCascadeKL-UCBを提案し、ギャップ依存のレギュレートバウンドを確立した。このレギュレートバウンドは、導出された下界と対数因子を除いて一致しており、モデルの違反が生じても強力な理論的・実験的性能を示している。

ABSTRACT

A search engine usually outputs a list of $K$ web pages. The user examines this list, from the first web page to the last, and chooses the first attractive page. This model of user behavior is known as the cascade model. In this paper, we propose cascading bandits, a learning variant of the cascade model where the objective is to identify $K$ most attractive items. We formulate our problem as a stochastic combinatorial partial monitoring problem. We propose two algorithms for solving it, CascadeUCB1 and CascadeKL-UCB. We also prove gap-dependent upper bounds on the regret of these algorithms and derive a lower bound on the regret in cascading bandits. The lower bound matches the upper bound of CascadeKL-UCB up to a logarithmic factor. We experiment with our algorithms on several problems. The algorithms perform surprisingly well even when our modeling assumptions are violated.

研究の動機と目的

• ユーザーのクリック行動がカスケードモデルに従う（観測可能なのは最初にクリックされたアイテムのみ）状況下で、Web検索におけるアイテムの順序付けの学習に直面する課題に対処すること。
• 非線形な報酬と部分的フィードバックを伴う、確率的組み合わせ的部分監視問題として学習問題を定式化すること。
• L個の候補からK個の魅力的なアイテムを特定する際に、レギュレートを最小化する効率的なアルゴリズムを設計すること。
• 上界および下界の両方の理論的レギュレートバウンドを確立し、対数因子を除いてタイトであることを示すこと。
• 実世界に類似した問題に対してアルゴリズムを実験的に評価し、モデル仮定の違反に対するロバストネスを検証すること。

提案手法

• エージェントがL個のうちK個のアイテムのリストを選択し、最初にクリックされたアイテムのインデックスのみを観測するカスケードモデルを、組み合わせ的バンドイット問題として定式化する。
• CombUCB1アルゴリズムを基にしたCascadeUCB1を設計し、アイテムの魅力的確率に対する上位信頼区間を用いて、探索と活用のバランスを図る。
• KL-UCBを模倣したCascadeKL-UCBを設計し、Kullback-Leibler発散を用いて信頼区間を計算する。低クリック確率の状況下でより優れた性能を示すことが期待される。
• 観測されたクリックインデックスを用いて、クリックされたアイテムより前のアイテムは魅力的でない（クリックされなかった）と推論し、以降のアイテムは観測されていないとみなす。
• 魅力的確率の差に基づいて、非最適アイテムの選択回数の期待値を分析することで、ギャップ依存のレギュレート上界を導出する。
• 問題固有の下界を証明し、CascadeKL-UCBの上界と対数因子を除いて一致させることで、近似的に最適性を確立する。

実験結果

リサーチクエスチョン

• RQ1 限られたフィードバックのもとで、カスケードモデルにおいてK個の最も魅力的なアイテムを効果的に特定できる学習アルゴリズムは存在するか？
• RQ2 CascadeUCB1およびCascadeKL-UCBのレギュレートバウンドは、アイテム数Lや最良アイテムと非最良アイテムとのギャップに応じてどのようにスケーリングされるか？
• RQ3 提案されたレギュレートの下界はタイトであり、最良の性能を示すアルゴリズムの性能と一致するか？
• RQ4 クリック確率の独立性などのモデル仮定の違反に対して、アルゴリズムはどれほどロバストか？
• RQ5 部分的フィードバックを伴うより複雑な順序付けやルーティング問題への拡張は可能か？

主な発見

• CascadeKL-UCBのレギュレートは、O(∑_{i: w_i < w^*} (w^* - w_i)^{-1} log T) で有界であり、導出された下界と対数因子を除いて一致しており、近似的に最適性を示している。
• CascadeUCB1およびCascadeKL-UCBの両方とも、非線形なレギュレートを達成しており、Web検索で一般的な低クリック確率の状況下ではCascadeKL-UCBが優れた性能を示すと予想される。
• アルゴリズムは、モデル仮定（例：クリックの独立性）が違反されても、実際の応用において驚くほど良好に動作する。
• カスケードバンドイットにおけるレギュレートの下界はΩ(L)であり、アイテム数Lが大きくなると問題が解けなくなることを示唆している。
• 推薦アイテムの逆順序がより小さいレギュレートをもたらす現象が観察され、これはフィードバック構造と信頼区間の性質によって説明できる。
• 本フレームワークは、故障しやすい接続を持つネットワークにおけるルーティング経路の学習といった、より複雑な問題へも拡張可能である。