[論文レビュー] Online Learning to Rank with Features

Shuai Li, Tor Lattimore+1 more|arXiv (Cornell University)|Oct 5, 2018

Advanced Bandit Algorithms Research参考文献 34被引用数 7

ひとこと要約

本稿では、アイテムの魅力を特徴の線形関数としてモデル化することで、大規模なアイテム集合の効率的取り扱いを可能にする、新しいオンライン学習順序付けアルゴリズムRecurRankを提案する。本手法は、$ O(K\theta{dT\theta{L}}) $ のレグルートバウンドを達成し、直交ケースでは最先端の手法を $ \theta{K} $ 倍改善し、アイテム数 $ L $ への依存を特徴次元 $ d $ への依存に低減する。

ABSTRACT

We introduce a new model for online ranking in which the click probability factors into an examination and attractiveness function and the attractiveness function is a linear function of a feature vector and an unknown parameter. Only relatively mild assumptions are made on the examination function. A novel algorithm for this setup is analysed, showing that the dependence on the number of items is replaced by a dependence on the dimension, allowing the new algorithm to handle a large number of items. When reduced to the orthogonal case, the regret of the algorithm improves on the state-of-the-art.

研究の動機と目的

• アイテム数 $ L $ が数百万に達する大規模な設定において、順序付けのオンライン学習を効率的に行う課題に対処すること。
• 従来のクリックモデルにおける膨大なパラメータ数を克服するため、低次元の特徴ベクトルに基づくアイテムの魅力を線形関数としてモデル化すること。
• 試行と活用のバランスを、試行関数に強い仮定を設けずに、高次元のアイテム空間で効率的に実現するアルゴリズムの開発。
• アイテム数 $ L $ への依存を特徴次元 $ d $ への依存に置き換えることで、先行研究に比べてより良いレグルートバウンドを達成すること、特に直交ケースにおいて。

提案手法

• クリック確率が観察関数と魅力関数に分解される新しいクリックモデルを導入し、後者はアイテム特徴と未知のパrameter ベクトル $ \theta_* $ の線形関数として定式化する。
• 位置集合 $[K]$ を段階的に細分化する再帰的アルゴリズムであるRecurRankを設計し、各部分集合内で試行と活用をバランスさせる。
• 部分集合の非最適性について十分な信頼が得られた場合にのみ、部分集合を再分割することで、全探索を避けた適応的精錬を実現する。
• 魅力値が $[0,1]$ の範囲に収まるように、特徴ベクトルと $ \theta_* $ に対して変換を施し、安定性と有界性を保証する。
• 線形バンディットとレグルート解析の技術を活用し、累積レグルートの理論的上界を導出する。
• 最小限の構造的仮定で柔軟な観察関数を許容する一般化されたクリックモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 アイテム数 $ L $ への依存を低減することで、大規模なアイテム集合へのスケーラビリティを向上させることで、オンライン学習順序付けを実現できるか？
• RQ2 一般性を損なわずに、低次元の特徴を用いてアイテムの魅力を効率的にモデル化する方法は何か？
• RQ3 特徴に基づくアイテム魅力を有する順序付け設定において、試行と活用の最適なトレードオフは何か？
• RQ4 アイテム数 $ L $ ではなく特徴次元 $ d $ に依存するレグルートバウンドを導出できるか、特に直交ケースにおいて？
• RQ5 提案手法は、CascadeLinUCB や TopRank といった既存手法と比較して、収束速度およびレグルートの観点でどのように性能を発揮するか？

主な発見

• RecurRankのレグルートは $ O(K\theta{dT\theta{L}}) $ で有界であり、直交ケース（$ d = L $ の場合）では最先端の手法を $ \theta{K} $ 倍改善する。
• 本手法は、アイテム数 $ L $ への依存を特徴次元 $ d $ への依存に置き換えることで、先行手法よりも優れたスケーラビリティを達成する。
• MovieLensデータセットを用いた実験では、RecureRankは収束速度およびレグルート最小化の両面で、CascadeLinUCB や TopRank を上回る性能を示した。
• CascadeLinUCB はPBM設定において、モデルバイアスのため性能が著しく劣るが、RecureRank は異なるクリックモデルにおいても強い性能を維持する。
• 理論的解析により、レグルートバウンドは既知の下界 $ \theta{K} $ に対して最大 $ \theta{K} $ 倍のオーダーで劣化するのみであり、近似的に最適であることが示唆される。