[論文レビュー] TopRank: A practical algorithm for online stochastic ranking

Tor Lattimore, Branislav Kveton+2 more|arXiv (Cornell University)|Jun 6, 2018

Advanced Bandit Algorithms Research参考文献 21被引用数 12

ひとこと要約

TopRankは、ノイズの多いクリックフィードバックに基づいてアイテムの部分順序を維持・改善するための、トポロジカルソートを用いた新しいオンライン確率的順序付けアルゴリズムを提案する。従来のクリックモデルを一般化する。BatchRank や CascadeKL-UCB よりも強いレグレットバウンドを達成し、分析がより単純で、実験的にも優れた性能を示す。特に、非一様なクリックモデルにおいて顕著である。

ABSTRACT

Online learning to rank is a sequential decision-making problem where in each round the learning agent chooses a list of items and receives feedback in the form of clicks from the user. Many sample-efficient algorithms have been proposed for this problem that assume a specific click model connecting rankings and user behavior. We propose a generalized click model that encompasses many existing models, including the position-based and cascade models. Our generalization motivates a novel online learning algorithm based on topological sort, which we call TopRank. TopRank is (a) more natural than existing algorithms, (b) has stronger regret guarantees than existing algorithms with comparable generality, (c) has a more insightful proof that leaves the door open to many generalizations, (d) outperforms existing algorithms empirically.

研究の動機と目的

• 既存のクリックモデルのオンライン順序付け学習における限界を克服するため、先行モデルを包含するより一般化され、柔軟性に富んだモデルを提案すること。
• 順序付けの組み合わせ的行動空間を、ノイズの多い部分的フィードバックで扱える、整合的なオンライン学習アルゴリズムを開発すること。
• 特に Zoghi ら (2017) の研究に比べ、レグレット保証を向上させるとともに理論的分析を単純化すること。
• 先行アルゴリズムが失敗または性能を発揮しないような多様なクリックモデルにおいても、堅牢な実験的性能を示すこと。
• より洞察に富み、モジュラー構造を持つ証明フレームワークを導入することで、将来的な一般化の基盤を提供すること。

提案手法

• アイテムの魅力と位置の両方に依存するクリック確率を持つ、一般化されたクリックモデルを提案する。別々の「点検」と「魅力」の項に分解しない。
• 順序付け問題を、クリックフィードバックから真のアイテム魅力順序を回復するノイズの多いソーティング問題として定式化する。
• 観測されたクリックを用いて部分順序を逐次更新する、トポロジカルソートに基づくアルゴリズム TopRank を設計する。
• 不確実なアイテム比較のための探索を保証するため、信頼区間アプローチを用いてアクションを選択する。
• 時間に依存する信頼幅（δ = 1/n）を用いたUCBスタイルの探索戦略を適用し、探索と活用のバランスを取る。
• 従来の手法よりも単純で洞察に富んだ新しい分析技術を用いて、弱い仮定のもとでもレグレットバウンドを証明する。

実験結果

リサーチクエスチョン

• RQ1 位置ベースモデル、カスケードモデル、因数分解モデルを統合する統一的なクリックモデルを定式化できるか？
• RQ2 トポロジカルソートに基づくアルゴリズムは、既存のオンライン順序付けアルゴリズムよりも優れたレグレット保証と実験的性能を達成できるか？
• RQ3 カスケードモデルおよび位置ベースモデルにおいて、TopRank の性能は、モデル特化型アルゴリズム（例：CascadeKL-UCB）と比べてどうなるか？
• RQ4 モデルの一般化度がオンライン順序付けにおけるレグレットとサンプル効率に与える影響は何か？
• RQ5 ノイズの多いフィードバックを伴う組み合わせ的バンディット問題に対して、より単純で洞察に富んだレグレット分析を構築できるか？

主な発見

• TopRank は BatchRank よりも強いレグレット保証を達成し、モデル特化型アルゴリズム（例：CascadeKL-UCB）と同等またはそれ以上の性能を示す。これは、より一般化されているにもかかわらず顕著である。
• カスケードモデルでは、TopRank は BatchRank を上回り、CascadeKL-UCB に比べて要因3倍以内の性能を達成する。CascadeKL-UCB はモデル知識を活用しているが、TopRank はより一般化されている。
• 位置ベースモデルでは、TopRank は BatchRank を著しく上回り、60件のクエリにおける平均レグレットが30%低くなる。
• TopRank はモデルの誤指定に対しても堅牢であり、特に後者（CascadeKL-UCB）が線形レグレットに陥る多くの位置ベースモデルの例において、優れた性能を発揮する。
• カスケードモデルでは、TopRank のレグレットは BatchRank の約3倍低いが、CascadeKL-UCB の約3倍高い。これは、一般化と性能の間で良好なトレードオフを実現していることを示している。
• TopRank の理論的分析は、先行研究よりも単純で、より洞察に富んでおり、将来的な一般化や拡張のための明確な道筋を提供する。