[論文レビュー] Cross-Representation Knowledge Transfer for Improved Sequential Recommendations

Artur Gimranov, Vladislav V. Yusupov+5 more|arXiv (Cornell University)|Feb 26, 2026

Recommender Systems and Techniques被引用数 0

ひとこと要約

本論文は、順序トランスフォーマーエンコーダとグラフエンコーダを共同訓練し、Barlow Twinsで整合させることで次アイテム予測を向上させるCREATEを提案する。複数データセットで純粋なシーケンシャルモデルとグラフベースのベースラインの双方を上回る。

ABSTRACT

Transformer architectures, capable of capturing sequential dependencies in the history of user interactions, have become the dominant approach in sequential recommender systems. Despite their success, such models consider sequence elements in isolation, implicitly accounting for the complex relationships between them. Graph neural networks, in contrast, explicitly model these relationships through higher order interactions but are often unable to adequately capture their evolution over time, limiting their use for predicting the next interaction. To fill this gap, we present a new framework that combines transformers and graph neural networks and aligns different representations for solving next-item prediction task. Our solution simultaneously encodes structural dependencies in the interaction graph and tracks their dynamic change. Experimental results on a number of open datasets demonstrate that the proposed framework consistently outperforms both pure sequential and graph approaches in terms of recommendation quality, as well as recent methods that combine both types of signals.

研究の動機と目的

• 推奨における局所的なアイテム順序とグローバルなアイテム関係を同時に捉えるため、逐次とグラフ信号を組み合わせる動機づけ。
• 局所的ダイナミクスをモデル化する逐次エンコーダと、グローバルな文脈を捉えるグラフエンコーダを持つ二つのエンコーダフレームワークを開発。
• エンコーダ間の表現整合性を確保しつつ冗長性を減らす表現整列目的を導入。
• グラフエンコーダのウォームアップ後に共同最適化を行い、学習を安定化させ推奨品質を最大化。
• 複数データセットでの有効性を実証し、最先端のベースラインと比較。

提案手法

• 共有埋め込み層と位置エンコーディングを用いてユーザーとアイテムを埋め込む。
• 局所的なユーザー-アイテムダイナミクスをモデル化するために、SASRecやBERT4Recといった順次エンコーダを使用。
• ユーザー-アイテムグラフ上のグローバルなアイテム間コンテキストを捉えるためにLightGCNやUltraGCNといったグラフエンコーダを使用。
• Barlow Twinsの冗長性低減目的で二つのエンコーダを整列させ、不変性を促進し特徴の冗長性を低減。
• グラフエンコーダのウォームアップと局所・グローバル・整列損失を組み合わせた二段階の訓練を実施。

Figure 2. Visualized training process, with training loss and NDCG@10 scales placed on the left and on the right accordingly.

実験結果

リサーチクエスチョン

• RQ1 逐次信号とグラフ信号を組み合わせることで、次アイテム予測を改善するクロス表現転送フレームワークは有効か。
• RQ2 Barlow Twinsによる表現整列は、二つのエンコーダ間の適合性と性能を高めるか。
• RQ3 グラフウォームアップと整列強度がデータセットを跨いだ推奨品質に与える影響はどの程度か。
• RQ4 CREATEは逐次のみ・グラフのみのベースラインおよび他のマルチ表現モデルとどのように比較されるか。

主な発見

Dataset	Metric	SASRec	BERT4Rec	MRGSRec	SVD	Random	PopRnd	LightGCN	UltraGCN	CREATE	Gain
Beauty	NDCG@10	1.87 (±0.01)	1.34	0.41	0.52	0.04	0.07	0.93	0.97	2.15 (±0.01)	+15%
Beauty	Recall@10	3.83 (±0.02)	2.68	0.88	1.04	0.07	0.15	1.88	1.93	4.65 (±0.03)	+21%
Beauty	Cov@10	70.04 (±1.26)	21.42	3.24	14.02	99.90	91.24	13.27	17.54	75.67 (±1.26)	+8%
Beauty	NDCG@100	3.73 (±0.02)	3.17	1.27	1.92	0.18	0.26	2.13	2.25	4.25 (±0.03)	+14%
Beauty	Recall@100	13.67 (±0.08)	12.19	5.38	7.22	0.82	1.21	8.25	8.34	15.64 (±0.13)	+14%
Beauty	Cov@100	93.46 (±3.29)	54.88	21.80	72.79	100.00	96.85	47.33	95.37 (±1.04)	+2%
Clothing	NDCG@10	0.87 (±0.01)	0.99	0.51	0.57	0.01	0.03	0.78	0.79	1.00 (±0.01)	+15%
Clothing	Recall@10	1.70 (±0.02)	1.89	1.01	1.43	0.04	0.06	1.62	1.65	2.19 (±0.02)	+29%
Clothing	Cov@10	52.11 (±3.52)	7.91	5.27	14.09	99.92	94.71	17.50	18.23	57.06 (±3.52)	+9%
Clothing	NDCG@100	1.86 (±0.02)	2.10	1.36	1.63	0.09	0.13	1.86	1.87	2.19 (±0.01)	+18%
Clothing	Recall@100	6.88 (±0.03)	8.12	5.50	6.76	0.42	0.65	7.27	7.29	8.37 (±0.04)	+22%
Clothing	Cov@100	84.55 (±1.75)	31.53	36.17	60.90	100.00	98.15	52.86	88.67 (±2.05)	+5%
Sports	NDCG@10	1.48 (±0.01)	1.35	0.56	0.95	0.04	0.07	1.13	1.19	1.58 (±0.01)	+7%
Sports	Recall@10	2.75 (±0.02)	2.55	1.28	1.84	0.07	0.12	2.14	2.21	2.98 (±0.02)	+8%
Sports	Cov@10	50.35 (±1.21)	18.36	1.57	18.34	99.96	93.43	17.49	18.23	75.90 (±2.61)	+50%
Sports	NDCG@100	3.04 (±0.01)	3.01	1.35	2.32	0.11	0.27	2.55	2.61	3.24 (±0.01)	+7%
Sports	Recall@100	10.94 (±0.04)	11.15	5.26	7.53	0.47	1.21	8.43	8.49	11.71 (±0.06)	+7%
Sports	Cov@100	85.26 (±0.92)	49.49	11.01	51.32	100.00	82.28	57.38	61.40	78.67 (±0.81)	-5%
ML-1M	NDCG@10	7.96 (±0.66)	7.35	1.43	2.78	0.12	0.46	3.21	3.45	8.99 (±0.26)	+13%
ML-1M	Recall@10	13.99 (±1.08)	13.29	3.41	6.21	0.26	0.87	6.57	6.73	15.73 (±0.39)	+12%
ML-1M	Cov@10	45.04 (±1.33)	35.00	6.61	32.10	95.41	60.75	34.13	35.49	40.22 (±0.88)	-10%
ML-1M	NDCG@100	13.09 (±0.36)	12.35	5.14	5.46	0.70	1.81	5.98	6.17	14.06 (±0.28)	+7%
ML-1M	Recall@100	39.93 (±1.01)	38.67	23.01	18.67	3.50	8.31	20.37	21.19	41.55 (±0.94)	+4%
ML-1M	Cov@100	83.41 (±0.69)	72.31	26.5	73.02	100.00	82.28	57.38	61.40	78.67 (±0.81)	-5%
Yambda-50M	NDCG@10	1.11 (±0.01)	0.39	0.20	0.42	0.0	0.04	1.18	1.19	1.54 (±0.01)	+38%
Yambda-50M	Recall@10	1.35 (±0.02)	0.87	0.37	0.84	0.0	0.09	1.28	1.30	1.86 (±0.02)	+37%
Yambda-50M	Cov@10	7.80 (±0.52)	0.006	0.01	5.21	27.61	11.94	10.88	10.99	13.70 (±0.84)	+75%
Yambda-50M	NDCG@100	1.46 (±0.02)	1.04	0.69	0.71	0.003	0.18	1.21	1.25	1.84 (±0.02)	+26%
Yambda-50M	Recall@100	3.15 (±0.03)	4.30	2.95	2.19	0.017	0.9	1.43	1.48	3.40 (±0.04)	+8%
Yambda-50M	Cov@100	19.73 (±0.68)	0.06	0.08	14.58	96.05	16.70	46.11	47.17	60.03 (±1.31)	+204%

• CREATEは五つのデータセットと複数の指標で常に強力なベースラインを上回る。
• Y Lambda-50Mでは、CREATEはベースラインより最大でNDCG@10が+38%、NDCG@100が+26%を達成。
• CREATEは逐次のみモデルやグラフのみモデル、他のマルチ表現手法を上回る。
• Barlow Twins整列は、整列なしやコントラスト損失のみの場合と比較して性能を大幅に向上させる。
• グラフウォームアップエポックは安定性と最終性能を改善し、データセット依存的に最適なウォームアップ長が存在する。

Figure 3. Graph size ablation for MovieLens-1M and Amazon Beauty datasets