[論文レビュー] BubbleRank: Safe Online Learning to Rerank.

Branislav Kveton, Chang Li+5 more|arXiv (Cornell University)|Jun 15, 2018

Advanced Bandit Algorithms Research参考文献 21被引用数 5

ひとこと要約

BubbleRank は、初期のベースリストを段階的に、低い順位で魅力的でないアイテムと高い順位で魅力的なアイテムを入れ替えることで改善する、安全なオンライン学習のためのバンディットアルゴリズムである。初期リストの品質に応じて徐々に劣化するレグレットバウンドを達成し、オフラインの監視とオンラインの探索を安全で段階的な方法で統合する。

ABSTRACT

In this paper, we study the problem of safe online learning to re-rank, where user feedback is used to improve the quality of displayed lists. Learning to rank has traditionally been studied in two settings. In the offline setting, rankers are typically learned from relevance labels created by judges. This approach has generally become standard in industrial applications of ranking, such as search. However, this approach lacks exploration and thus is limited by the information content of the offline training data. In the online setting, an algorithm can experiment with lists and learn from feedback on them in a sequential fashion. Bandit algorithms are well-suited for this setting but they tend to learn user preferences from scratch, which results in a high initial cost of exploration. This poses an additional challenge of safe exploration in ranked lists. We propose BubbleRank, a bandit algorithm for safe re-ranking that combines the strengths of both the offline and online settings. The algorithm starts with an initial base list and improves it online by gradually exchanging higher-ranked less attractive items for lower-ranked more attractive items. We prove an upper bound on the n-step regret of BubbleRank that degrades gracefully with the quality of the initial base list. Our theoretical findings are supported by extensive experiments on a large-scale real-world click dataset.

研究の動機と目的

• 初期の悪いランク付けがユーザーのフィードバックコストを高めるという、オンラインランク付けにおける安全な探索の課題に取り組む。
• 高品質な初期リストを提供するオフライン学習の長所と、フィードバックによる適応的改善を行うオンラインバンディット学習の長所を、1つのフレームワークで統合する。
• 学習段階で最小限のレグレットでリスト品質を段階的に改善する再ランク付けアルゴリズムを設計する。
• 学習プロセスの初期段階で有害な再ランク付けを避けることで、ユーザー体験が低下しないように保証する。
• 初期ベースリストの品質に基づいて、アルゴリズムのレグレットを理論的にバウンドすること。

提案手法

• BubbleRank は初期ベースリストを出発点とし、バンディットフレームワークを用いて、高順位と低順位の位置の間でアイテムを入れ替える探索を実行する。
• 再ランク付け問題を、ユーザーのフィードバックからアイテムの相対的な魅力さのみを学ぶ順序付き意思決定プロセスとしてモデル化する。
• 高順位の魅力的でないアイテムと低順位の魅力的なアイテムを入れ替えることで、リスト品質を保ちながら向上させる安全な探索戦略を採用する。
• 部分的フィードバックの文脈で、探索と活用のバランスを取るために、UCB スタイルの更新ルールを用いる。
• レグレット解析では、初期リストが任意に悪いわけではないと仮定し、初期リストの品質が低下するにつれてレグレットバウンドが徐々に劣化することを想定する。
• 段階的に改善可能であるように設計されており、学習中はシステムが初期リストより悪化しないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 オフラインの監視とオンラインの探索を、オンライン再ランク付けにおける安全な学習を保証する形で統合するには、どのようにすればよいか？
• RQ2 事前に用意されたリストから出発し、段階的に改善するオンライン再ランク付けアルゴリズムの理論的レグレットバウンドは何か？
• RQ3 初期ベースリストの品質は、オンライン再ランク付けにおける学習効率とレグレットにどのように影響するか？
• RQ4 初期探索段階で有害な再ランク付けを回避するバンディットアルゴリズムを設計できるか？
• RQ5 実世界のクリックデータにおいて、提案手法は標準的なバンディットアルゴリズムと比較して、どれほどレグレットを低減できるか？

主な発見

• BubbleRank は、初期ベースリストの品質に応じて徐々に劣化するレグレットバウンドを達成しており、より良い初期リストを使用することで著しく低いレグレットが得られることを示している。
• アルゴリズムは、各ステップでリスト品質を保ちながら向上させるように、常に安全な学習を保証している。
• 大規模な実世界のクリックデータセットを用いた広範な実験により、BubbleRank は累積レグレットの観点で、標準的なバンディットベースラインを上回っていることが示された。
• この手法は初期リストの関連性を効果的に活用し、初期段階での高コストな探索の必要性を低減している。
• 理論的解析により、初期リストが悪い場合でもレグレットがゆっくりと増加することが確認され、アルゴリズムが非最適な初期点に対しても頑健であることが示された。
• 段階的な交換メカニズムにより、トレーニング中でもユーザー体験が低下することなく、安定的かつ信頼性のある改善が可能である。