[論文レビュー] Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems

Hongwei Wang, Fuzheng Zhang+5 more|arXiv (Cornell University)|May 11, 2019

Advanced Graph Neural Networks参考文献 36被引用数 25

ひとこと要約

本稿では、学習可能なスコア関数を用いて知識グラフ（KG）の関係を動的に重み付けすることで、ユーザー固有のアイテム埋め込みを学習する、知識に配慮したグラフニューラルネットワーク（KGNN-LS）を提案する。同時に、ラベルスムージングを用いてエッジ重みを正則化し、一般化性能を向上させる。本手法は4つのデータセットにおいて最先端のベースラインを上回り、特に相互作用が希なコールドスタート状況で優れた性能を発揮する。

ABSTRACT

Knowledge graphs capture structured information and relations between a set of entities or items. As such knowledge graphs represent an attractive source of information that could help improve recommender systems. However, existing approaches in this domain rely on manual feature engineering and do not allow for an end-to-end training. Here we propose Knowledge-aware Graph Neural Networks with Label Smoothness regularization (KGNN-LS) to provide better recommendations. Conceptually, our approach computes user-specific item embeddings by first applying a trainable function that identifies important knowledge graph relationships for a given user. This way we transform the knowledge graph into a user-specific weighted graph and then apply a graph neural network to compute personalized item embeddings. To provide better inductive bias, we rely on label smoothness assumption, which posits that adjacent items in the knowledge graph are likely to have similar user relevance labels/scores. Label smoothness provides regularization over the edge weights and we prove that it is equivalent to a label propagation scheme on a graph. We also develop an efficient implementation that shows strong scalability with respect to the knowledge graph size. Experiments on four datasets show that our method outperforms state of the art baselines. KGNN-LS also achieves strong performance in cold-start scenarios where user-item interactions are sparse.

研究の動機と目的

• 構造化された知識グラフ（KG）情報を活用することで、推薦システムにおけるコールドスタート問題を解決すること。
• 手動による特徴工学を学習可能な関係スコア関数に置き換えることで、KGに配慮した推薦におけるエンドツーエンド学習を可能にすること。
• KG内のエッジ重みをラベルスムージングによって正則化することで、低データ環境における一般化性能を向上させること。
• 大規模な知識グラフに対しても効率的にスケーリングしつつ、高い推薦精度を維持すること。
• 単一の学習可能なGNNフレームワーク内で、意味的なアイテム関係とユーザー固有の好みを統合すること。

提案手法

• ユーザー固有の関係スコア関数を学習させ、ユーザーの好みに応じてKGのエッジに重みを動的に割り当てる。これにより、KGがユーザーに特化した重み付きグラフに変換される。
• ユーザー固有の重み付きKG上でグラフニューラルネットワーク（GNNs）を適用し、近隣情報の集約とアイテム埋め込みの計算を行う。
• ラベルスムージング正則化を導入し、KG内の隣接するアイテムは類似したユーザー関連スコアを持つと仮定する。これによりエッジ重みに対する正則化が行われる。
• ラベルスムージング制約が、グラフ上でのラベル伝搬スキームと同等であることが示され、スパースな監視条件下でもロバスト性が向上する。
• 関係スコア関数の学習にはリーブ・オブ・ワン損失が用いられ、ユーザーとアイテムの相互作用信号と整合性を保証する。
• バックプロパゲーションを用いてエンドツーエンドでモデルを学習し、ユーザーの好み、エッジ重み、アイテム表現を同時に最適化可能とする。

実験結果

リサーチクエスチョン

• RQ1 学習可能でユーザー固有の関係スコア関数は、知識に配慮した推薦システムにおけるパーソナライズドアイテム表現学習を改善できるか？
• RQ2 エッジ重みがスパースなユーザー・アイテム相互作用から学習される場合、ラベルスムージング正則化は一般化性能をどのように向上させるか？
• RQ3 KGNN-LSは、フルデータ環境およびコールドスタートの両方の推薦シナリオにおいて、既存の最先端手法をどの程度上回るか？
• RQ4 知識グラフのサイズが増加するに従って、本手法のスケーラビリティはどの程度か？
• RQ5 ラベルスムージングの統合は、異種KGにおいてより安定的かつロバストなエッジ重み学習をもたらすか？

主な発見

• MovieLens-20Mで学習データを20%に制限した場合、KGNN-LSはAUC 0.979を達成し、RippleNet や CKE を含むすべてのベースラインを上回った。
• コールドスタート状況では、学習データを20%に減らした際、KGNN-LSのAUC低下はたった1.8%にとどまり、SVDの8.4%やLibFMの5.9%と比較して顕著に優れている。
• GNN層数が1〜2層で最適な性能を発揮し、4層以上に深くすると過剰平滑化（over-smoothing）が発生し、性能が崩壊する。
• MovieLens-20Mでは隠れ次元d=64が最良の性能を示し、R@10が0.155に達する。dが64を超えると過学習により性能が低下する。
• KGNN-LSは強力なスケーラビリティを示しており、KGサイズが5倍に増加しても実行時間が線形に増加し、学習効率においてベースラインを上回った。
• ラベルスムージング正則化はエッジ重み学習を顕著に改善しており、スパースな監視条件下でもロバストであり、AUCおよびR@10の継続的な向上が確認された。