[論文レビュー] BubbleRank: Safe Online Learning to Re-Rank via Implicit Click Feedback

Chang Li, Branislav Kveton+5 more|arXiv (Cornell University)|Jun 15, 2018

Advanced Bandit Algorithms Research参考文献 35被引用数 7

ひとこと要約

BubbleRank は、暗黙のクリックフィードバックを用いて、初期の順序付けられたリストを段階的に改善する安全なオンライン学習順序付けアルゴリズムである。このアルゴリズムは、初期リストの品質に応じて滑らかに劣化するレグレットバウンドを達成し、高い確率でベースリストより著しく劣化しないことを保証する。

ABSTRACT

In this paper, we study the problem of safe online learning to re-rank, where user feedback is used to improve the quality of displayed lists. Learning to rank has traditionally been studied in two settings. In the offline setting, rankers are typically learned from relevance labels created by judges. This approach has generally become standard in industrial applications of ranking, such as search. However, this approach lacks exploration and thus is limited by the information content of the offline training data. In the online setting, an algorithm can experiment with lists and learn from feedback on them in a sequential fashion. Bandit algorithms are well-suited for this setting but they tend to learn user preferences from scratch, which results in a high initial cost of exploration. This poses an additional challenge of safe exploration in ranked lists. We propose BubbleRank, a bandit algorithm for safe re-ranking that combines the strengths of both the offline and online settings. The algorithm starts with an initial base list and improves it online by gradually exchanging higher-ranked less attractive items for lower-ranked more attractive items. We prove an upper bound on the n-step regret of BubbleRank that degrades gracefully with the quality of the initial base list. Our theoretical findings are supported by extensive experiments on a large-scale real-world click dataset.

研究の動機と目的

• 既存のオンライン学習順序付け手法が過剰に探索を実行し、ユーザー体験を損なうリスクがあるという限界を解消すること。
• 暗黙のクリックフィードバックを用いて、初期プロダクション順序リストを安全に段階的に改善すること。
• 初期リストが最適でない場合でも、レグレットと安全性に関する理論的保証を提供すること。
• 事前学習済みランカーが妥当なベースリストを提供するウォームスタートのシナリオをサポートすること。
• 既存のトムソンサンプリングベースの手法に見られる安全性の制約の欠如と、事前知識との整合性の低さを克服すること。

提案手法

• BubbleRank はバブルソートにインspiredされた探索戦略を用い、順序付けられたリスト内の隣接するアイテムを繰り返し交換することで順序付けの質を向上させる。
• 再順序付け問題を、隣接する交換が行動に対応する確率的バンディット問題としてモデル化し、ユーザー体験への干渉を最小限に抑える。
• 誤って順序付けられたアイテムペアに基づく安全制約を維持することで、シーケンス内のいかなるリストも初期ベースリストよりも著しく劣化しないことを保証する。
• ギャップ依存のレグレット解析を用いた後方確率サンプリングベースのバンディットアルゴリズムを採用し、探索と活用のバランスを取る。
• トムソンサンプリングが要請するアイテムレベルの事前知識を避けるために、リストレベルの事前知識のみを想定する。
• 理論的分析により、BubbleRank のレグレットが初期ベースリストの品質に応じて滑らかに劣化することを証明した。

実験結果

リサーチクエスチョン

• RQ1 探索中にユーザー体験を損なわず、安全にベースリストを改善できるオンライン学習順序付けアルゴリズムを設計できるか？
• RQ2 このようなアルゴリズムのレグレットは、初期リストの品質にどのように依存するか？
• RQ3 高い確率で、アルゴリズムが初期リストよりも著しく劣化しないことを形式的に保証できるか？
• RQ4 レグレットと安全性の観点から、TopRank などの最先端のオンライン LTR メソッドと比較して BubbleRank の性能はいかがなものか？
• RQ5 事前学習済みランカーが良好な初期順序を提供するウォームスタートのシナリオにおいて、このアルゴリズムは効果的に適用可能か？

主な発見

• BubbleRank は、初期リストが良好な場合、レグレットバウンドが O(K² log n) にスケーリングするように、初期リストの品質に応じて滑らかに劣化するレグレットバウンドを達成する。
• 1 ステップごとの安全制約に基づき、高い確率でシーケンス内のいかなるリストも初期ベースリストよりも著しく劣化しないことを保証することで、安全性を確保する。
• 大規模な実世界のクリックデータセットを用いた実験的評価により、BubbleRank は順序付けの質を向上させつつも、ユーザー体験を維持していることが示された。
• 有利な初期条件のもとでは、BubbleRank のレグレットは TopRank と同等の水準に達するが、追加的に安全性の利点を有する。
• 過剰な探索を避け、初期リストを安定したベースラインとして活用するため、ウォームスタートのシナリオにおいて既存手法を上回る性能を発揮する。
• 理論的分析により、レグレットバウンドにおける 1/χ_min 依存性が避けがたいことが確認され、学習問題の本質的な難易度を反映している。