[論文レビュー] Contextual User Browsing Bandits for Large-Scale Online Mobile Recommendation

Xu He, Bo An+5 more|arXiv (Cornell University)|Aug 21, 2020

Advanced Bandit Algorithms Research参考文献 23被引用数 7

ひとこと要約

本稿では、ユーザー閲覧モデル（UBM）を統合してアイテムの検閲確率を推定することで、位置バイアスおよび疑似露出をモデル化する文脈的組合せバンディットアルゴリズムであるUBM-LinUCBを提案する。本手法はサブラインアクレグレットを達成し、タオバオでのオフラインおよびオンライン実験においてベースライン手法を上回り、クリックスルーレート（CTR）指標を顕著に改善する。

ABSTRACT

Online recommendation services recommend multiple commodities to users. Nowadays, a considerable proportion of users visit e-commerce platforms by mobile devices. Due to the limited screen size of mobile devices, positions of items have a significant influence on clicks: 1) Higher positions lead to more clicks for one commodity. 2) The 'pseudo-exposure' issue: Only a few recommended items are shown at first glance and users need to slide the screen to browse other items. Therefore, some recommended items ranked behind are not viewed by users and it is not proper to treat this kind of items as negative samples. While many works model the online recommendation as contextual bandit problems, they rarely take the influence of positions into consideration and thus the estimation of the reward function may be biased. In this paper, we aim at addressing these two issues to improve the performance of online mobile recommendation. Our contributions are four-fold. First, since we concern the reward of a set of recommended items, we model the online recommendation as a contextual combinatorial bandit problem and define the reward of a recommended set. Second, we propose a novel contextual combinatorial bandit method called UBM-LinUCB to address two issues related to positions by adopting the User Browsing Model (UBM), a click model for web search. Third, we provide a formal regret analysis and prove that our algorithm achieves sublinear regret independent of the number of items. Finally, we evaluate our algorithm on two real-world datasets by a novel unbiased estimator. An online experiment is also implemented in Taobao, one of the most popular e-commerce platforms in the world. Results on two CTR metrics show that our algorithm outperforms the other contextual bandit algorithms.

研究の動機と目的

• スクリーンサイズの制限により、通常は上位順位のアイテムしか閲覧されないモバイルオンライン推薦において、位置バイアスおよび疑似露出を扱うため。
• 個々のアイテムではなく、推薦されたアイテムの集合の報酬をモデル化することで、実世界のモバイル推薦シナリオを反映するため。
• ユーザーの閲覧行動および位置依存の検閲確率を考慮した文脈的組合せバンディットアルゴリズムを開発するため。
• アイテム数に依存しないサブラインアクレグレットを保証する形式的レグレット解析を提供するため。
• タオバオでの大規模なオンラインA/Bテストを用いて、非バイアス推定器を用いた実証的評価を実施するため。

提案手法

• セットベースの報酬関数を用いて、オンラインモバイル推薦を文脈的組合せバンディット問題として定式化する。
• アイテムの位置とその上位の最後のクリックに基づいて、検閲確率を推定するためのユーザー閲覧モデル（UBM）を導入する。
• UBMで推定された検閲確率を線形報酬モデルに統合することで、より良いポリシー学習が可能なUBM-LinUCBというバンディットアルゴリズムを提案する。
• UBMから得られる重みを用いて、探索と活用のバランスを取る線形上界信頼区間（LinUCB）フレームワークを採用する。
• オフライン評価では選択バイアスを補正するための非バイアス推定器を用いる。
• 実世界のA/Bテストにおいて、ユーザーを異なるアルゴリズムを持つバケットにランダムに割り当て、オンラインログを用いてパラメータを更新する。

実験結果

リサーチクエスチョン

• RQ1 位置依存のユーザー行動を考慮した場合、モバイル電子商取引における推薦アイテム集合の報酬をどのようにモデル化できるか？
• RQ2 UBMを用いてユーザーの閲覧行動をモデル化することで、標準的なバンディット手法と比較してオンライン推薦性能がどの程度向上するか？
• RQ3 位置バイアスおよび疑似露出を考慮した文脈的組合せバンディットアルゴリズムは、サブラインアクレグレットを達成できるか？
• RQ4 UBM-LinUCBは、オフラインおよびオンライン設定において、既存のバンディットアルゴリズムと比較してどの程度の性能を示すか？
• RQ5 より正確なユーザー閲覧モデルを用いることで、CTRおよび総合的な推薦効果にどのような影響を与えるか？

主な発見

• UBM-LinUCBは、アイテム総数に依存しない Õ(d√(TK)) のサブラインアクレグレットを期待値として達成する。
• オフライン実験では、CTR_sumおよびCTR_setの両指標において、C2UCB や DCM-LinUCB といったベースライン手法を上回る性能を示した。
• タオバオでのオンラインA/Bテストでは、3日間を通じてUBM-LinUCBが常に最高のCTRを記録し、ベースライン手法に対して安定的かつ顕著な改善を示した。
• アルゴリズムは時間の経過とともにCTR_sumおよびCTR_setを着実に改善し、約6000万件のアイテムを含む高スケールの実世界環境でも堅牢性を示した。
• 推薦アイテム数（K）が増加する際の性能向上が顕著に現れ、UBM-LinUCBのスケーラビリティおよび大規模環境における有効性を示している。
• 結果から、UBMを用いたユーザー閲覧行動のモデル化が、位置効果を無視する手法や簡易なクリックモデルを用いる手法と比較して、より正確な報酬推定と優れたポリシー学習を可能にすることが確認された。