[論文レビュー] STAR-GCN: Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems

Jiani Zhang, Xingjian Shi+2 more|arXiv (Cornell University)|May 27, 2019

Recommender Systems and Techniques参考文献 34被引用数 54

ひとこと要約

STAR-GCN はスタック型エンコーダ-デコーダ GCN ブロックとマスキングベースの再構成により、コールドスタートに対処し、強力な転導的・誘導的レーティング予測性能を達成する低次元のユーザー/アイテム埋め込みを学習します。

ABSTRACT

We propose a new STAcked and Reconstructed Graph Convolutional Networks (STAR-GCN) architecture to learn node representations for boosting the performance in recommender systems, especially in the cold start scenario. STAR-GCN employs a stack of GCN encoder-decoders combined with intermediate supervision to improve the final prediction performance. Unlike the graph convolutional matrix completion model with one-hot encoding node inputs, our STAR-GCN learns low-dimensional user and item latent factors as the input to restrain the model space complexity. Moreover, our STAR-GCN can produce node embeddings for new nodes by reconstructing masked input node embeddings, which essentially tackles the cold start problem. Furthermore, we discover a label leakage issue when training GCN-based models for link prediction tasks and propose a training strategy to avoid the issue. Empirical results on multiple rating prediction benchmarks demonstrate our model achieves state-of-the-art performance in four out of five real-world datasets and significant improvements in predicting ratings in the cold start scenario. The code implementation is available in https://github.com/jennyzhang0215/STAR-GCN.

研究の動機と目的

• 推奨システムにおけるユーザー/アイテム表現学習の改善を動機づけ、特にコールドスタートの状況で。
• ワンホット入力に依存せず、エンドツーエンドで低次元の埋め込みを学習するスケーラブルなGCNベースのフレームワークを開発する。
• 未知ノードの埋め込み復元を可能にし、学習を正則化するためにマスキングと再構成を導入する。
• サンプル＆リムーブ訓練戦略を通じて、GCNベースのレーティング予測におけるラベル漏れを特定・緩和する。
• 転導的（完全に観測された訓練グラフ）および誘導的（コールドスタート）設定の双方で有効性を実証する。

提案手法

• 各エンコーダが多タイプ（評価レベル）隣接情報を集約するグラフエンコーダ−デコーダブロックのスタックを使用する。
• ユーザーとアイテムのワンホットノード入力を学習可能な低次元埋め込みに置き換える。
• 訓練中に入力ノード埋め込みの一部をマスクし、それらを再構成してコールドスタートの一般化を可能にする。
• 符号化表現から入力埋め込みを回復する再構成デコーダを導入し、マルチタスク正則化として機能させる。
• 各訓練ステップでサンプルされた訓練エッジをグラフから削除してラベル漏洩を避ける、サンプル＆リムーブ戦略を適用する。
• Lブロックに跨る監視付きレーティング予測と再構成損失を組み合わせた損失関数でエンドツーエンド訓練を提供する。

実験結果

リサーチクエスチョン

• RQ1 STAR-GCN は実世界データセット全体で転導的レーティング予測において最先端の性能を達成できるか？
• RQ2 未知のユーザー/アイテムに対する誘導的/コールドスタートのレーティング予測をSTAR-GCNはどれほどうまく扱えるか？
• RQ3 マスキング/再構成は標準的なGCNベース予測器と比較して埋め込みの質と一般化を改善するか？
• RQ4 GCNベースのレーティング予測でラベル漏洩を避けるために必要な訓練戦略は何か？
• RQ5 アーキテクチャの選択（積み重ねられたブロック vs 再帰ブロック）と入力特徴量が性能に与える影響は何か？

主な発見

Model	Flixster RMSE	Douban RMSE	ML-100K RMSE	ML-1M RMSE	ML-10M RMSE
BiasMF	-	-	0.917	0.845	0.803
NNMF	-	-	0.907	0.843	-
I-AUTOREC	-	-	-	0.831	0.782
GRALS Rao et al.	1.245	0.833	0.945	-	-
CF-NADE Zheng et al.	-	-	-	0.829	0.771
Factorized EAE Hartford et al.	-	-	0.910	0.860	-
sRMGCNN Monti et al.	0.926	0.801	0.929	-	-
GC-MC Berg et al.	0.917	0.734	0.910	0.832	0.777
STAR-GCN	0.879 ± 0.0030	0.727 ± 0.0006	0.895 ± 0.0009	0.832 ± 0.0016	0.770 ± 0.0001

• STAR-GCN は5つの転導データセットのうち4つで最先端の性能を達成します。
• 誘導設定では、STAR-GCN は一貫して基準法を大幅に上回ります。
• 入力埋め込みのマスキングと再構成は性能を向上させ、コールドスタートの一般化を可能にします。
• サンプル＆リムーブ訓練戦略はラベル漏洩を効果的に緩和し、テストRMSEを向上させます。
• 再帰型と積み重ね型のバリアントはパラメータ数が少ない割に競争力の性能を示す。外部特徴は混合的な利得を与える。