[論文レビュー] Two Birds with One Stone: Unified Model Learning for Both Recall and Ranking in News Recommendation

Chuhan Wu, Fangzhao Wu+2 more|arXiv (Cornell University)|Apr 15, 2021

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、個人化ニュース推薦におけるニュースリコールとランク付けの両方のユーザーエンベッディングを統合的に学習するユニフィードモデルUniRecを提案する。ランク付け用のユーザーエンベッディングを注意機構のクエリとして用い、基本となるユーザーユーザーインテント表現から選択・結合することで、モデル統合による計算コストの低減を実現しつつ、両タスクで最先端の性能を達成する。

ABSTRACT

Recall and ranking are two critical steps in personalized news recommendation. Most existing news recommender systems conduct personalized news recall and ranking separately with different models. However, maintaining multiple models leads to high computational cost and poses great challenge to meeting the online latency requirement of news recommender systems. In order to handle this problem, in this paper we propose UniRec, a unified method for recall and ranking in news recommendation. In our method, we first infer user embedding for ranking from the historical news click behaviors of a user using a user encoder model. Then we derive the user embedding for recall from the obtained user embedding for ranking by using it as the attention query to select a set of basis user embeddings which encode different general user interests and synthesize them into a user embedding for recall. The extensive experiments on benchmark dataset demonstrate that our method can improve both efficiency and effectiveness for recall and ranking in news recommendation.

研究の動機と目的

• 大規模システムにおけるリコールとランク付けのための別個モデルの維持に伴う高い計算コストとメモリ使用量を低減すること。
• 性能を損なわせることなく、リコールとランク付けの両方のユーザーエンベッディング学習を統合すること。
• ランク付けから得られるユーザーユーザー関心表現を活用し、リコールの品質を向上させるとともに、ノイズの多い関心をフィルタリングすること。
• リアルタイムニュース推薦システムにおける厳格なオンライン遅延要件を満たすこと。

提案手法

• ユーザーエンコーダーは、過去にクリックされたニュースを処理し、マルチヘッド自己注意機構と位置埋め込みを用いてランク付け用のユーザーエンベッディングを生成する。
• ランク付け用のユーザーエンベッディングを、メモリに保持されたM個の一般的なユーザーユーザー関心表現から上位k個の基本ユーザーエンベッディングを選択するための注目クエリとして用いる。
• 選択された基本エッセンスは動的に重み付けされ、リコール用のパーソナライズドユーザーエンベッディングに統合される。
• 推論時には、注目重みが最も高い上位-P個の基本エッセンスのみを用いることで、ノイズや関連性の薄いユーザーユーザー関心を除外する。
• ニュースエンコーダーはBERTスタイルのアーキテクチャを用いてニュースコンテンツを埋め込む一方、ユーザーエンコーダーは自己注意機構と位置符号化を用いてクリック行動のシーケンスをモデル化する。
• 統合フレームワークは、リコールとランク付けの両方でニュースエンコーダーとランク付け用ユーザーエンコーダーを共有することで、モデルの重複を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 性能の低下を伴わせることなく、1つの統合モデルがリコールとランク付けの両方のユーザーエンベッディングを効果的に学習できるか？
• RQ2 ランク付けから得られるユーザーユーザー関心表現を、どのようにしてリコールの品質向上に活用できるか？
• RQ3 最適な基本ユーザーエンベッディングの数と、リコールに選択すべき数は何か？性能と効率のバランスを取るには？
• RQ4 注目メカニズムによる基本エッセンス埋め込みの選択は、ノイズの多いユーザーユーザー関心をフィルタリングし、リコールの多様性と正確性を向上させられるか？

主な発見

• UniRecはNAML や NPA といった強力なベースラインを上回るランク付け性能を示し、マルチヘッド自己注意機構と位置埋め込みの有効性を裏付けた。
• UniRec (top) は上位5つの基本エッセンスのみを用いるが、すべての基本エッセンスを用いるUniRec(all) よりも優れたリコール性能を達成しており、選択的注目がノイズフィルタリングを改善していることが示された。
• 最適な基本ユーザーエンベッディング数Mは20であり、Mが小さすぎるとカバレッジ不足、大きすぎると過学習が生じるため性能が低下する。
• リコールにおける最適な選択エッセンス数Pは5であり、Pが小さすぎるとカバレッジ不足、大きすぎるとノイズの高いエッセンスが含まれるため性能が低下する。
• 実世界のベンチマークデータセットを用いた広範な実験から、UniRecは統合モデルとしてリコールとランク付けの両方で最先端の結果を達成することが確認された。
• ケーススタディの結果、UniRecは複数の分野にわたり推定されたユーザーユーザー関心と整合した多様で正確なリコール結果を生成することが示された。