[論文レビュー] GraphSW: a training protocol based on stage-wise training for GNN-based Recommender Model

Chang-You Tai, Meng-Ru Wu+2 more|arXiv (Cornell University)|Aug 13, 2019

Advanced Graph Neural Networks被引用数 4

ひとこと要約

GraphSWは、段階的学習プロトコルであり、反復的・段階的な訓練を通じて知識グラフ（KG）情報を段階的に統合することで、GNNベースのレコメンデーションモデルの性能を向上させる。各段階でKGのエンティティのサブセットを訓練し、学習された埋め込みを転送することで、特に小さなネイバー採番サイズと増加するホップ数において、KGCNのような高次のGNNの収束を可能にし、モデル性能を向上させる。

ABSTRACT

Recently, researchers utilize Knowledge Graph (KG) as side information in recommendation system to address cold start and sparsity issue and improve the recommendation performance. Existing KG-aware recommendation model use the feature of neighboring entities and structural information to update the embedding of currently located entity. Although the fruitful information is beneficial to the following task, the cost of exploring the entire graph is massive and impractical. In order to reduce the computational cost and maintain the pattern of extracting features, KG-aware recommendation model usually utilize fixed-size and random set of neighbors rather than complete information in KG. Nonetheless, there are two critical issues in these approaches: First of all, fixed-size and randomly selected neighbors restrict the view of graph. In addition, as the order of graph feature increases, the growth of parameter dimensionality of the model may lead the training process hard to converge. To solve the aforementioned limitations, we propose GraphSW, a strategy based on stage-wise training framework which would only access to a subset of the entities in KG in every stage. During the following stages, the learned embedding from previous stages is provided to the network in the next stage and the model can learn the information gradually from the KG. We apply stage-wise training on two SOTA recommendation models, RippleNet and Knowledge Graph Convolutional Networks (KGCN). Moreover, we evaluate the performance on six real world datasets, Last.FM 2011, Book-Crossing,movie, LFM-1b 2015, Amazon-book and Yelp 2018. The result of our experiments shows that proposed strategy can help both models to collect more information from the KG and improve the performance. Furthermore, it is observed that GraphSW can assist KGCN to converge effectively in high-order graph feature.

研究の動機と目的

• 高次のGNNベースのレコメンデーションモデルにおける計算コストの増大とモデルの収束不能という課題に対処すること。
• 固定サイズかつランダムなネイバー採番がKG対応モデルの情報アクセスを制限し、学習の安定性を損なうという制限を克服すること。
• KGCNとRippleNetの性能と収束性を、段階的にKG情報を統合することで向上させること。
• 再採番戦略と段階的学習が、多様なデータセットにわたるモデルのロバスト性とスケーラビリティを向上させるかを調査すること。
• パラメータの爆発とノイズの蓄積を軽減することで、高次の特徴を持つより深いGNNの訓練を可能にすること。

提案手法

• 各段階で知識グラフからのエンティティのサブセットを処理する段階的学習フレームワークを導入する。
• 前の段階で学習されたエンティティ埋め込みを次の段階に転送することで、段階的な情報蓄積を実現する。
• 各段階で固定サイズのネイバー採番を行うが、段階ごとに異なるネイバーを選択することで、多様なグラフ構造を探索する。
• KGCNとRippleNetにこのプロトコルを適用し、異なるホップ数とネイバー採番サイズで訓練する。
• 全モデルパラメータではなく、KG表現のみを段階間で転送することで、学習の安定性と性能を維持する。
• ネイバー採番サイズやホップ数などのハイパーパrameterを最適化し、データセット全体で性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 限定的なKG情報しか利用できない状況下でも、段階的学習プロトコルがGNNベースのレコメンデーションモデルの性能を向上させられるか？
• RQ2 段階的学習による段階的情報集約が、KGCN や RippleNet などのモデルが高ホップ数でもより良い収束を達成するのを助けるか？
• RQ3 GraphSWを用いる場合、ネイバー採番サイズは標準的な固定採番戦略と比較して、モデル性能にどのように影響するか？
• RQ4 GraphSWは、高次のグラフ特徴におけるパラメータ次元の増大とノイズの蓄積によって引き起こされるKGCNの収束不能問題を緩和できるか？
• RQ5 段階間でKG埋め込みのみを転送することで、全モデルパラメータを転送するのと比較して、モデル性能がより良く保たれるか？

主な発見

• GraphSWは、KGCNとRippleNetの両方において、6つのすべてのデータセットでAUC性能を顕著に向上させ、Last.FM 2011のホップ4で平均で最大34.8%の向上を達成した。
• KGCNでは、GraphSWを用いることで、小さなネイバー採番サイズ（例：16）でも最良の性能が得られ、限定的だが段階的なネイバーへのアクセスにより、より良い特徴学習が可能であることが示された。
• KGCNでは、GraphSWにより、パラメータの爆発とノイズの影響により標準的な訓練では収束しないホップ4でも、安定した訓練と性能向上が達成された。
• Yelp 2018では、GraphSWによりKGCNのAUCがホップ4で標準手法の0.8720から0.9038に向上し、大規模KGでも有効であることが示された。
• 段階間でKG表現のみを転送することで、全モデルパラメータを転送するのと比較して、より高い性能が得られた。これは、学習済みのKG埋め込みを保持することが重要であることを確認した。
• RippleNetは、大きなネイバー採番サイズでGraphSWの恩恵を最も受けたが、KGCNは小さなサンプルサイズで最良の性能を発揮した。これは、特徴集約のアーキテクチャ的差異を示している。