[論文レビュー] TransGNN: Harnessing the Collaborative Power of Transformers and Graph Neural Networks for Recommender Systems

Peiyan Zhang, Yuchen Yan+5 more|arXiv (Cornell University)|Aug 28, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

TransGNNは、推薦システムにおけるGNNの受容 field の制限およびノイズに敏感な問題を克服するため、TransformerとGNNレイヤーを交互に統合するハイブリッドモデルを提案する。Transformerに構造的ポジショナルエンコーディングを用い、関連するノードをサンプリングすることで、NGCFに比べて30–40%高速な学習および推論を達成し、低メモリおよびFLOP使用量を維持する。

ABSTRACT

Graph Neural Networks (GNNs) have emerged as promising solutions for collaborative filtering (CF) through the modeling of user-item interaction graphs. The nucleus of existing GNN-based recommender systems involves recursive message passing along user-item interaction edges to refine encoded embeddings. Despite their demonstrated effectiveness, current GNN-based methods encounter challenges of limited receptive fields and the presence of noisy "interest-irrelevant" connections. In contrast, Transformer-based methods excel in aggregating information adaptively and globally. Nevertheless, their application to large-scale interaction graphs is hindered by inherent complexities and challenges in capturing intricate, entangled structural information. In this paper, we propose TransGNN, a novel model that integrates Transformer and GNN layers in an alternating fashion to mutually enhance their capabilities. Specifically, TransGNN leverages Transformer layers to broaden the receptive field and disentangle information aggregation from edges, which aggregates information from more relevant nodes, thereby enhancing the message passing of GNNs. Additionally, to capture graph structure information effectively, positional encoding is meticulously designed and integrated into GNN layers to encode such structural knowledge into node attributes, thus enhancing the Transformer's performance on graphs. Efficiency considerations are also alleviated by proposing the sampling of the most relevant nodes for the Transformer, along with two efficient sample update strategies to reduce complexity. Furthermore, theoretical analysis demonstrates that TransGNN offers increased expressiveness compared to GNNs, with only a marginal increase in linear complexity. Extensive experiments on five public datasets validate the effectiveness and efficiency of TransGNN.

研究の動機と目的

• GNNベースの推薦システムにおけるエッジベースのメッセージパッシングに起因する受容 field の制限およびノイズに起因する問題を解決する。
• 3ホップを超える近傍のモデリングが制限される深層GNNにおける過剰平滑化問題を克服する。
• Transformerのグローバルアテンションを活用して、ユーザーとアイテムの相互作用における長距離の順序依存性を捉える。
• 特別に設計されたポジショナルエンコーディングを通じて、グラフ構造をTransformerに統合する。
• 特定のノードサンプリングと更新戦略を用いることで、大規模グラフにおける計算効率を向上させる。

提案手法

• GNNとTransformerレイヤーを交互に適用し、ユーザーおよびアイテムの埋め込みを共同で最適化する。
• 構造的、近接性、アテンションベースの3種類のポジショナルエンコーディングを導入し、Transformerレイヤーにグラフ構造を注入する。
• ノードサンプリングを適用して、自己アテンション計算を最も関連性の高いノードに限定し、計算複雑性を低減する。
• 動的サンプリングとインクリメンタルアップデートの2つの効率的なサンプル更新戦略を提案し、学習中に関連性を維持する。
• 二重スレッドのメッセージパッシング機構を採用し、Transformerが長距離の文脈を集約し、GNNが局所的でエッジ依存の特徴を精錬する。
• GNNが局所的な構造的伝搬を処理し、Transformerがグローバルかつ適応的な集約を実行するハイブリッドアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 TransformerとGNNを組み合わせることで、計算コストを増加させずにGNNの受容 field を拡大できるか？
• RQ2 推薦タスクにおけるTransformerの自己アテンション機構に、グラフ構造情報を効果的にエンコードできるか？
• RQ3 効率的なサンプリング戦略により、大規模な相互作用グラフにおけるTransformerの計算負荷を軽減できるか、性能を維持できるか？
• RQ4 GNNとTransformerレイヤーを交互に配置したアーキテクチャが、単独のモデルよりも優れた表現学習を達成できるか？
• RQ5 NGCF、SHT、HyRecといった既存のSOTAモデルと比較して、TransGNNは効率性および表現力において優れているか？

主な発見

• TransGNNは5つの公開データセットでSOTA性能を達成し、YelpではRecall@20が0.0927を記録。NGCF（0.0294）、HyRec（0.0472）、SHT（0.0651）を上回る。
• Yelpにおける学習時間はNGCFに比べ30–40%短縮され、推論時間も同様に30–40%短縮された。
• TransGNNはSHTやHyRecに比べ20–30%少ないGPUメモリを使用し、Yelpデータセットではたった1.79GBで運用された。
• TransGNNはすべてのベースラインの中で最も低いFLOPs（3.74×10⁶）を記録し、優れた計算効率を示した。
• t-SNE可視化では、TransGNNがNGCF、HyRec、SHTよりもはっきり分離されたクラスタを生成しており、より判別力のある表現を示している。
• 理論的分析により、TransGNNはGNNよりも高い表現力を持つことが確認され、線形複雑性の増加はわずかであった。