[論文レビュー] Seq2Slate: Re-ranking and Slate Optimization with RNNs

Irwan Bello, Sayali Kulkarni+7 more|arXiv (Cornell University)|Oct 4, 2018

Topic Modeling参考文献 55被引用数 43

ひとこと要約

tldr: Seq2Slate は、ポインタネットワークアーキテクチャを用いた seq2seq によってアイテムのスレートを再ランク付けする。既に選択したアイテムに基づいて次のアイテムを逐次選択することで、弱い監督（クリックデータ）から学習する。

ABSTRACT

Ranking is a central task in machine learning and information retrieval. In this task, it is especially important to present the user with a slate of items that is appealing as a whole. This in turn requires taking into account interactions between items, since intuitively, placing an item on the slate affects the decision of which other items should be placed alongside it. In this work, we propose a sequence-to-sequence model for ranking called seq2slate. At each step, the model predicts the next `best' item to place on the slate given the items already selected. The sequential nature of the model allows complex dependencies between the items to be captured directly in a flexible and scalable way. We show how to learn the model end-to-end from weak supervision in the form of easily obtained click-through data. We further demonstrate the usefulness of our approach in experiments on standard ranking benchmarks as well as in a real-world recommendation system.

研究の動機と目的

• 制限された表示領域でランキング項目間の相互作用をモデル化する必要性を動機付ける。
• アイテムを逐次選択して順序付け（スレート）を出力するスケーラブルな sequence-to-slate モデルを提案する。
• ground-truth ランキングではなく、弱い監督（クリック-through データ）からエンドツーエンドで学習を可能にする。
• 学習・ランキング benchmark と大規模実世界のレコメンダーシステムでの有効性を示す。

提案手法

• ランキングをシーケンス予測として定式化し、入力アイテムの順列を出力するポインターネット（エンコーダ-デコーダ with attention）を用いる。
• 候補アイテムをエンコードしスレートをデコードするために2つのRNN（LSTMベース）を用い、次のアイテムを選択する際にアテンションを適用する。
• 残りのアイテム上の非パラメトリックソフトマックスを介して条件付き確率 p(pi_j | pi_<j, x) をモデル化し、高次のアイテム間依存性を可能にする。
• 正解ラベルのクロスエントロピーロスによるエンドツーエンドの教師あり学習、またはクリックデータに基づく弱い監督目的（RLベースの目的関数 REINFORCE）や、すでに選択済みアイテムを無視するステップ別ロスを含む。
• 推論には貪欲デコードまたはサンプリングを採用；線形時間計算量の1ステップデコーダの代替を提供。
• シーケンス損失 L_pi を含むトレーニングを採用し、各ステップのロスおよびスコアの初期位置を強調するウェイトをオプションで組み込む。

実験結果

リサーチクエスチョン

• RQ1 seq2seq ベースの再ランクモデルはスレート内のアイテム間の高次相互作用と多様性を捉えられるか？
• RQ2 クリック-through データによる弱い監督での学習はスレートレベルの好みを効果的に学習させるか？
• RQ3 Seq2slate は標準ベンチマークや実データで従来のポイントワイズ・リストワイズのランカーと比較してどうか？
• RQ4 逐次デコードとより安価な1-stepデコーダの性能と速度のトレードオフは？

主な発見

• Seq2Slate は diverse-clicks で生成された learning-to-rank ベンチマークでさまざまなベースラインを大幅に上回る。
• 逐次デコードにより以前選択したスレートアイテムに基づいてアイテムスコアを適応させ、高次のアイテム間相互作用を捉える。
• Greedyポリシーを用いた教師ありクロスエントロピートレーニングが一般に最良の成績を示し、弱監督アプローチはベースランカーに対して安定した順位向上を提供する。
• 実世界データでは seq2slate が production base ranker に対して実質的な利得を生み、逐次デコードが1ステップデコーダより主要指標で優れていた。
• 入力順序に敏感で、アイテムがランダム順で提示されると性能が低下するため、再ランクはゼロからの完全なランキングより再ランクの方が容易であることを示唆する。