[論文レビュー] DCM Bandits: Learning to Rank with Multiple Clicks

Sumeet Katariya, Branislav Kveton+2 more|arXiv (Cornell University)|Feb 9, 2016

Advanced Bandit Algorithms Research参考文献 22被引用数 47

ひとこと要約

本稿では、複数回のクリックを用いた順序付けのためのオンライン学習フレームワーク「DCM Bandits」を紹介する。このフレームワークは、従属クリックモデル（DCM）に基づく。dcmKL-UCBアルゴリズムを提案し、クリックのみの部分的フィードバックから効率的に学習するため、問題をカスケードバンドイットに還元する。その結果、対数的要因を除いて最適なレグレットバウンドを達成し、合成データおよび実世界のデータの両方の実験でベースラインを上回る性能を示す。さらに、モデルの誤指定下でも同様の結果を示す。

ABSTRACT

A search engine recommends to the user a list of web pages. The user examines this list, from the first page to the last, and clicks on all attractive pages until the user is satisfied. This behavior of the user can be described by the dependent click model (DCM). We propose DCM bandits, an online learning variant of the DCM where the goal is to maximize the probability of recommending satisfactory items, such as web pages. The main challenge of our learning problem is that we do not observe which attractive item is satisfactory. We propose a computationally-efficient learning algorithm for solving our problem, dcmKL-UCB; derive gap-dependent upper bounds on its regret under reasonable assumptions; and also prove a matching lower bound up to logarithmic factors. We evaluate our algorithm on synthetic and real-world problems, and show that it performs well even when our model is misspecified. This work presents the first practical and regret-optimal online algorithm for learning to rank with multiple clicks in a cascade-like click model.

研究の動機と目的

• オンライン設定における複数回のユーザークリックを伴う順序付けの学習に直面する課題に対処すること。この場合、報酬（ユーザー満足度）は観測されない。
• DCMに対して計算的に効率的なオンライン学習アルゴリズムを構築すること。このアルゴリズムは、クリックの観測のみに依存する部分的フィードバック環境で動作する。
• 妥当な仮定、特に終了確率の順序が既知であるという条件下で、提案されたアルゴリズムの理論的レグレットバウンドを確立すること。
• 合成データおよび実世界のデータ上で、アルゴリズムの性能を実証的に評価し、モデルの誤指定下でのロバストネスを評価すること。
• 既存のベースライン（例：順序バンドイット、カスケードバンドイット）と比較して、累積レグレットと学習速度の面で優れた性能を示すことを実証すること。

提案手法

• 従属クリックモデル（DCM）のオンライン学習バージョンとして、DCMバンドイットを提案。ユーザーが順次スキャンする中で複数のアイテムをクリックすることが可能である。
• KL-UCBにインspiredされたdcmKL-UCBアルゴリズムを導入。観測されたクリックに基づき、上位信頼区間を用いて探索と活用のバランスをとる。
• 複数クリックのDCM問題を単一クリックのカスケードバンドイット問題に還元する、革新的な還元技術を採用。これにより理論的分析が可能になる。
• 位置依存の終了確率の順序が事前に既知であると仮定。これにより、最も有望なアイテム位置を同定できる。
• ギャップ依存のレグレット解析を用いて、累積レグレットの上界を導出。これは、対数的要因を除いて一致する下界を伴う。
• ユーザー満足度が直接観測されない状況でも、クリックパターンから満足度を推定する報酬推定戦略を採用。

実験結果

リサーチクエスチョン

• RQ1 ユーザー満足度が観測されない状況で、複数クリックから効率的に学習できるオンライン学習アルゴリズムを設計することは可能か？
• RQ2 終了確率の順序が既知である条件下で、部分的フィードバック（クリックのみ）下での複数クリックの順序付け学習において、レグレット最適性を達成することは可能か？
• RQ3 提案されたdcmKL-UCBアルゴリズムは、順序バンドイットやカスケードバンドイットといった既存手法と比較して、レグレットと収束速度の面でどのように差をつけるか？
• RQ4 実際の状況でモデル仮定（例：終了確率順序の既知性）が破綻した場合、アルゴリズムは依然としてロバストであるか？
• RQ5 理論的レグレットバウンドは、実世界および合成環境における実証的性能でも達成可能か？

主な発見

• dcmKL-UCBアルゴリズムは、妥当な仮定の下で、ギャップ依存の上界が証明された対数的要因を除いて最適なレグレットバウンドを達成する。
• アルゴリズムは順序バンドイットを著しく上回り、合成実験では10,000ラウンド時点で少なくとも2倍のレグレット低減効果を示す。
• 実証的結果から、dcmKL-UCBはモデルが誤指定されている場合でも良好に動作することが示され、特に終了確率順序の仮定が破綻した場合でも有効である。
• ベースライン手法よりも高速な学習収束を示し、実用的な順序付け問題における効率性を裏付ける。
• カスケードバンドイットへの還元により理論的分析が可能となりながらも、DCMの複数クリック性を保持する。これは主な技術的貢献である。
• dcmKL-UCBのレグレットは共通の終了確率γに対して線形ではないため、理論的バウンドはさらなる改善が可能である可能性を示唆している。