[論文レビュー] Beyond the Click-Through Rate: Web Link Selection with Multi-level Feedback

Kun Chen, Kechao Cai+2 more|arXiv (Cornell University)|May 4, 2018

Advanced Bandit Algorithms Research参考文献 29被引用数 7

ひとこと要約

本稿では、クリック率（魅力性）とクリック後の収益（収益性）の両方を最適化する、Webリンク選択のための制約付き上界信頼区間（Con-UCB）アルゴリズムを提案する。多段階フィードバック構造の下で、確率的かつ文脈フリーな環境において、サブ線形な後悔と違反バウンドを達成し、実世界のデータセットにおいて最先端のバンディットアルゴリズムを上回る性能を示す。収益と制約の満たし方のバランスを図っている。

ABSTRACT

The web link selection problem is to select a small subset of web links from a large web link pool, and to place the selected links on a web page that can only accommodate a limited number of links, e.g., advertisements, recommendations, or news feeds. Despite the long concerned click-through rate which reflects the attractiveness of the link itself, the revenue can only be obtained from user actions after clicks, e.g., purchasing after being directed to the product pages by recommendation links. Thus, the web links have an intrinsic \emph{multi-level feedback structure}. With this observation, we consider the context-free web link selection problem, where the objective is to maximize revenue while ensuring that the attractiveness is no less than a preset threshold. The key challenge of the problem is that each link's multi-level feedbacks are stochastic, and unobservable unless the link is selected. We model this problem with a constrained stochastic multi-armed bandit formulation, and design an efficient link selection algorithm, called Constrained Upper Confidence Bound algorithm ( extbf{Con-UCB}), and prove $O(\sqrt{T\ln T})$ bounds on both the regret and the violation of the attractiveness constraint. We conduct extensive experiments on three real-world datasets, and show that extbf{Con-UCB} outperforms state-of-the-art context-free bandit algorithms concerning the multi-level feedback structure.

研究の動機と目的

• クリックスルー率（CTR）とクリック後の収益という二段階のフィードバックを生成するWebリンク選択問題に対処すること。
• 最小魅力性（CTR）を硬性制約として維持しつつ、合計複合収益を最大化すること。
• 選択されない限り観測できない確率的で多段階のフィードバックの課題に対処すること。
• ユーザー情報やコンテンツの文脈が得られない状況（例：プライベートモード、コールドスタート、Cookieブロッキング）に適した、文脈フリーなバンディットアルゴリズムを設計すること。
• 高確率保証の下で、サブ線形な後悔と制約違反バウンドを達成すること。

提案手法

• 二段階の報酬（第一段階：CTR、第二段階：クリック後収益）を持つ、制約付き確率的マルチプレイマルチアームバンディット（MAB）問題として問題を定式化する。
• 複合報酬をCTRとクリック後収益の積として定義し、1リンクあたりの期待総収益を表す。
• 上界信頼区間（UCB）を用いて探索と活用のバランスを図りつつ、魅力性制約を満たすようにCon-UCBアルゴリズムを設計する。
• 制約違反の動的調整のため、ラグランジュ緩和法を統合し、累積的魅力がしきい値以上を保つようにする。
• 高確率集中不等式を用いて、後悔と制約違反が確率 $1 - \delta$ で $O(\sqrt{T\ln(T/\delta)})$ の割合で増加することを証明する。
• 各ラウンドで $K$ 個のリンクのうち $L$ 個を選択する順次意思決定設定にアルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 観測不能で多段階のフィードバックがある状況下で、バンディットアルゴリズムは収益最大化と魅力性制約の両立を効果的に実現できるか？
• RQ2 選択された場合にのみ明らかになる確率的フィードバックの下で、文脈フリーなバンディットアルゴリズムは、後悔と制約違反がサブ線形に成長するか？
• RQ3 制約に配慮した探索を組み込んだUCBベースの最適化は、指数重みベースライン（例：LExp）を上回る性能を示せるか？
• RQ4 多段階フィードバック環境下で、制約付きMABアルゴリズムの理論的性能保証（後悔と違反バウンド）は何か？
• RQ5 実世界のデータセット（多段階フィードバックあり）において、Con-UCBは最先端の文脈フリーなバンディットアルゴリズムと比較してどのように性能を発揮するか？

主な発見

• Coupon-Purchaseデータセットにおいて、Con-UCBはLExpに比べて顕著に低い累積後悔を達成し、探索と活用のバランスの優位性を示した。
• Con-UCBは全アルゴリズムの中で最も低い累積制約違反を記録し、制約なしベースライン（CUCBやExp3.M）が魅力性しきい値を著しく超える違反を繰り返すのに対し、優れた制御性能を示した。
• 全データセットにおいて、Con-UCBは収益対違反比が最も高く、収益と制約遵守のバランスが最も効率的であった。
• Ad-ClicksおよびedX-Courseデータセットでは、Con-UCBはLExpに比べて後悔が低く、累積収益が高く、違反レベルも最低であった。
• 理論的バウンドである $O(\sqrt{T\ln(T/\delta)})$ が、3つの実世界データセットで実験的にも裏付けられた。
• 実験結果は、Con-UCBが後悔と違反の両面でLExpを上回ることを確認し、理論的保証と整合しており、多段階フィードバック環境における頑健性を示した。