[論文レビュー] Context-aware Reranking with Utility Maximization for Recommendation

Yunjia Xi, Weiwen Liu+6 more|arXiv (Cornell University)|Oct 18, 2021

Recommender Systems and Techniques参考文献 31被引用数 4

ひとこと要約

本稿では、再ランク付け後の状態を考慮した仮想的な再ランク付けリストにおけるアイテムの位置とアラインメントをモデル化することで、再ランク付け後の効用を最大化する文脈に配慮した再ランク付けフレームワーク、CRUMを提案する。Bi-LSTMとグラフ自己注意ネットワークを用いてリストワイズな効用を推定し、ペairワイズな再ランク付け手法により効率的な最適化を実現する。公開および産業界データセットにおいて、関連性および効用指標の両面で、最先端のモデルを顕著に上回る性能を発揮する。

ABSTRACT

As a critical task for large-scale commercial recommender systems, reranking has shown the potential of improving recommendation results by uncovering mutual influence among items. Reranking rearranges items in the initial ranking lists from the previous ranking stage to better meet users' demands. However, rather than considering the context of initial lists as most existing methods do, an ideal reranking algorithm should consider the counterfactual context -- the position and the alignment of the items in the reranked lists. In this work, we propose a novel pairwise reranking framework, Context-aware Reranking with Utility Maximization for recommendation (CRUM), which maximizes the overall utility after reranking efficiently. Specifically, we first design a utility-oriented evaluator, which applies Bi-LSTM and graph attention mechanism to estimate the listwise utility via the counterfactual context modeling. Then, under the guidance of the evaluator, we propose a pairwise reranker model to find the most suitable position for each item by swapping misplaced item pairs. Extensive experiments on two benchmark datasets and a proprietary real-world dataset demonstrate that CRUM significantly outperforms the state-of-the-art models in terms of both relevance-based metrics and utility-based metrics.

研究の動機と目的

• 既存の再ランク付け手法が再ランク付け前の初期リストの文脈に依存しているのに対し、再ランク付け後の仮想的な文脈（counterfactual context）に依存するという、再ランク付け前の効用評価という限界を是正すること。
• 再ランク付け後のリストにおける順序の変化とアイテム同士の相互影響を考慮することで、アイテムの順列の真の効用をモデル化すること。
• すべてのn!通りの順列を全探索するのではなく、効用を最大にする効率的でスケーラブルな再ランク付けフレームワークを構築すること。
• 初期順位付けリストの品質に依存するのを減らし、初期リストの文脈ではなく仮想的な文脈に焦点を当てる。

提案手法

• 仮想的な再ランク付け後の位置と周辺アイテム（すなわち、再ランク付け後の仮想的な文脈）に基づいて、リストワイズな効用を推定する、効用指向の評価器を提案。この評価器はBi-LSTMとグラフ自己注意ネットワークを用いる。
• 再ランク付け後のリストにおけるアイテムの関係性と位置情報を符号化するための位置に配慮したグラフ埋め込みを導入し、より良い文脈モデリングを実現する。
• 誤ったアイテムペアを特定し、スワップすることで全体の効用を向上させるペアワイズ再ランク付けを設計。グリーディな最適化により、指数的計算量を回避する。
• 暗黙のフィードバックを用いて評価器と再ランク付け器を共同で学習。効用推定は仮想的なリスト構成に基づいてガイドされる。
• 訓練中に、スワップ可能なペアのサンプリング戦略を採用し、性能と計算コストのバランスを取った、候補となる再ランク付けリストを効率的に生成する。
• 二段階の学習プロセスを採用：第一段階では、評価器がさまざまな仮想的な文脈下での効用を予測するように学習。第二段階では、再ランク付け器がこれらの予測に基づいてリストを最適化するように学習。

実験結果

リサーチクエスチョン

• RQ1 再ランク付け後の文脈（すなわち、再ランク付け後のアイテムの位置と隣接アイテム）を考慮することで、再ランク付け前の文脈に依存するのではなく、順列の真の効用をよりよく推定できるか。
• RQ2 再ランク付け後のアイテムの位置とアラインメント（すなわち、仮想的な文脈）をモデル化することで、初期リストの文脈に依存する手法と比較して、推薦性能がどの程度向上するか。
• RQ3 全順列の全探索を避けることで、ペアワイズな再ランク付け戦略がリストワイズな効用を効果的に最適化できるか。
• RQ4 本手法のフレームワークは、初期順位付けリストが悪い場合にも安定した性能を示すか。また、初期ランカーの品質に依存するのを減らすことができるか。

主な発見

• CRUMは、2つの公開データセット（YahooとMSLR）および独自の産業界データセットにおいて、関連性指標（例：MAP）および効用指標（例：CTR）の両面で、最先端のモデルを顕著に上回る性能を発揮する。
• アブレーションスタディの結果、Bi-LSTMやグラフ自己注意ネットワークの除去により性能が低下することが確認され、これらが仮想的な文脈をモデル化する上で極めて重要な役割を果たしていることが示された。
• 初期順位付けが悪い場合（例：ランダムまたは逆順）でも、安定した性能を維持するため、初期ランカーの品質に依存する度合いが低いことが示された。
• 1リストあたり10個のペアをサンプリングすることで、性能と訓練コストの最適なバランスが達成され、10個を超えるサンプル数では指標が安定化することが確認された。
• ペアワイズ再ランク付けにより、指数的計算量を回避しながら効用を効率的に向上させ、実世界の環境でもスケーラブルで効果的であることが示された。
• PRM や DLCM といった強力なベースラインが性能を発揮しない状況でも、CRUMは優れた性能を発揮し、特に収益およびクリック数の最大化という観点で優位性を示した。