[論文レビュー] UPRec: User-Aware Pre-training for Recommender Systems

Chaojun Xiao, Ruobing Xie+5 more|arXiv (Cornell University)|Feb 22, 2021

Recommender Systems and Techniques参考文献 66被引用数 14

ひとこと要約

UPRecは、ユーザ属性やソーシャルグラフといった異種のユーザ情報——これらを2つの新しいタスク、すなわちユーザ属性予測とソーシャル関係検出を介して事前学習に統合する、ユーザに配慮した事前学習フレームワークを提案する。これらのタスクを活用することで、特にデータスパarsity状況下でも順序推薦のパフォーランスが顕著に向上し、YELPなどの実世界のデータセットにおいて、既存の事前学習モデルを上回る性能を発揮する。

ABSTRACT

Existing sequential recommendation methods rely on large amounts of training data and usually suffer from the data sparsity problem. To tackle this, the pre-training mechanism has been widely adopted, which attempts to leverage large-scale data to perform self-supervised learning and transfer the pre-trained parameters to downstream tasks. However, previous pre-trained models for recommendation focus on leverage universal sequence patterns from user behaviour sequences and item information, whereas ignore capturing personalized interests with the heterogeneous user information, which has been shown effective in contributing to personalized recommendation. In this paper, we propose a method to enhance pre-trained models with heterogeneous user information, called User-aware Pre-training for Recommendation (UPRec). Specifically, UPRec leverages the user attributes andstructured social graphs to construct self-supervised objectives in the pre-training stage and proposes two user-aware pre-training tasks. Comprehensive experimental results on several real-world large-scale recommendation datasets demonstrate that UPRec can effectively integrate user information into pre-trained models and thus provide more appropriate recommendations for users.

研究の動機と目的

• 行動履歴以外の異種ユーザ情報（属性やソーシャルグラフなど）を統合することで、順序推薦におけるデータスパarsity問題に対処すること。
• ユーザ属性とソーシャルグラフを効果的に活用できる自己教師付き事前学習タスクを設計すること。
• 記号的・表形式・グラフ構造のユーザデータを統合エンコーダーに統合することで、ユーザ表現学習を向上させること。
• 標準的な事前学習と比較して、ユーザに配慮した事前学習が、下流の推薦タスクにおけるパフォーマンスを向上させることを実証すること。

提案手法

• UPRecは、ユーザ行動履歴、ユーザ属性、ソーシャルグラフを共通の埋め込み空間で処理する統合型のTransformerベースエンコーダーを用いる。
• モデルは、ユーザの行動履歴から欠落しているプロフィール特徴を予測するタスク、すなわちユーザ属性予測タスクを導入する。
• 対照的学習を用いて、ソーシャルグラフ内の実際のユーザペアとネガティブペアを区別するタスク、すなわちソーシャル関係検出タスクを設計する。
• マスクド言語モデルと対照的学習の目的関数を用いて、行動履歴、ユーザ属性、ソーシャル関係を統合的に事前学習する。
• 2つのユーザに配慮した事前学習タスクと、標準的なクローズド形式のマスクアイテム予測タスクを統合するマルチタスク学習戦略を採用する。
• 事前学習後、標準的な最適化手法を用いて、下流の順序推薦タスクで微調整を行う。

実験結果

リサーチクエスチョン

• RQ1 属性やソーシャルグラフといった異種のユーザ情報を統合することで、事前学習された推薦モデルの性能が向上するか？
• RQ2 ユーザに配慮した事前学習タスク（属性予測とソーシャル関係検出）は、ユーザ表現学習の向上にどの程度有効か？
• RQ3 ユーザに配慮した目的関数を用いた事前学習は、データスパarsity状況下での順序推薦タスクにおけるパフォーランスを向上させるか？
• RQ4 バッチサイズや隠れ層サイズといったハイパーパrameterは、ユーザに配慮した事前学習のパフォーランスにどのように影響するか？
• RQ5 UPRecは、順序推薦以外の推薦タスクに対しても一般化可能か？

主な発見

• UPRecは、YELP、Amazon、Diginomを含む複数の実世界データセットにおいて、順序推薦タスクで最先端のパフォーランスを達成し、NDCG@10とMRRの指標で顕著な向上を示した。
• アブレーションスタディの結果、ユーザ属性予測タスクとソーシャル関係検出タスクの両方がモデルパフォーマンスに正の寄与をしていることが確認され、併用時の性能が個々のコンponentを上回った。
• UPRecは事前学習段階で迅速に収束し、最初の30エポック以内に顕著なパフォーランス向上を示した。これは、異種のユーザデータから効果的な特徴抽出が行われていることを示している。
• 事前学習段階でのバッチサイズが大きいほど、下流タスクのパフォーランスが向上し、128から768に増加した際には顕著な向上が見られた。これは、安定的かつ効率的な最適化が可能であることを示唆している。
• YELPデータセットでは最適な隠れ層サイズが96であると特定された。これより大きなサイズ（例：160）は過学習を引き起こし、パフォーマンスの低下をもたらした。
• モデルは優れた一般化性能を示し、低データ環境下でも改善が観察された。これは、データスパarsityの緩和に有効であることを確認した。