[論文レビュー] Edgeformers: Graph-Empowered Transformers for Representation Learning on Textual-Edge Networks

Bowen Jin, Yu Zhang+2 more|arXiv (Cornell University)|Feb 21, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

Edgeformers は、テキスト的エッジコンテンツとネットワーク構造を統合的にモデル化することで、ノードおよびエッジ表現学習を向上させるグラフ強化型トランスフォーマーフレームワークである。エッジテキスト符号化中に各トランスフォーマーレイヤーにグラフ信号を統合し、エゴグラフアテンションを用いて文脈に適したエッジ表現を集約することで、Edgeformers は 5 つの実世界データセットにおけるエッジ分類およびリンク予測タスクで、最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Edges in many real-world social/information networks are associated with rich text information (e.g., user-user communications or user-product reviews). However, mainstream network representation learning models focus on propagating and aggregating node attributes, lacking specific designs to utilize text semantics on edges. While there exist edge-aware graph neural networks, they directly initialize edge attributes as a feature vector, which cannot fully capture the contextualized text semantics of edges. In this paper, we propose Edgeformers, a framework built upon graph-enhanced Transformers, to perform edge and node representation learning by modeling texts on edges in a contextualized way. Specifically, in edge representation learning, we inject network information into each Transformer layer when encoding edge texts; in node representation learning, we aggregate edge representations through an attention mechanism within each node's ego-graph. On five public datasets from three different domains, Edgeformers consistently outperform state-of-the-art baselines in edge classification and link prediction, demonstrating the efficacy in learning edge and node representations, respectively.

研究の動機と目的

• エッジに関連する豊富なテキスト情報を効果的に活用できない既存のネットワーク表現学習モデルのギャップを埋める。
• ノード中心の GNN やエッジに配慮した GNN がエッジ特徴量を静的ベクトルとして扱うのではなく、文脈に適したテキストとして扱うという制限を克服する。
• グラフ構造と文脈に適したテキスト表現の間で、深く双方向的な相互作用を可能にする統一フレームワークを提案する。
• 多様な実世界ネットワークにおいて、エッジレベルおよびノードレベルの下流タスクで提案手法の優位性を実証する。
• エッジが意味的・文脈依存的なテキストを保持するテキストエッジネットワークにおける表現学習の新しいパラダイムを確立する。

提案手法

• Edgeformers は、エッジテキスト符号化中にネットワーク構造情報を伝搬できるように、各自己注意層に仮想ノードトークンを統合した、変更された BERT スタイルのトランスフォーマーである Edgeformer-E を導入する。
• Edgeformer-E では、各エッジのテキストがグラフ強化アテンションで符号化され、モデルが隣接ノードを動的に注目し、構造的文脈をエッジ表現に統合できる。
• Edgeformer-N は、各ノードのエゴグラフ内でエッジ表現を学習可能なアテンションメカニズムを用いて集約し、テキスト的および構造的信号を統合してノードレベルの表現を生成する。
• フレームワークは、エッジ表現の最適化を目的としたエッジ分類と、ノード表現の最適化を目的としたリンク予測の両方を同時に学習することで、エンドツーエンドの学習を可能にする。
• グラフ信号がトランスフォーマーアーキテクチャにレイヤーワイズで統合され、テキスト意味とネットワークトポロジーの間で、深く反復的な相互作用が可能になる。
• モデルは BERT などの事前学習言語モデル（PLM）を活用し、アテンションメカニズム内に GNN スタイルのメッセージパッシングを統合することで、文脈に適したエッジ意味を保持する。

実験結果

リサーチクエスチョン

• RQ1 従来のノード中心の GNN と比較して、テキストエッジネットワークにおける表現学習を、テキスト的エッジコンテンツとネットワーク構造の統合的モデリングが向上させられるか。
• RQ2 エッジテキスト符号化中に各トランスフォーマーレイヤーにグラフ構造を統合することで、エッジ表現の質がどのように向上するか。
• RQ3 グラフとテキスト信号を統合するエゴグラフアテンションメカニズムが、ノード表現学習をどの程度向上させるか。
• RQ4 提案フレームワークは、エッジレベルおよびノードレベルのタスクにおいて、PLM-GNN カスケードアーキテクチャおよびエッジに配慮した GNN よりも優れているか。
• RQ5 モデルは、ソーシャルネットワーク、製品レビューネットワーク、引用ネットワークなど、多様な分野に一般化可能か。

主な発見

• Edgeformers は、3 つの異なるドメインからなる 5 つの公開データセットにおいて、ノード中心の GNN、エッジに配慮した GNN、PLM-GNN カスケードモデルを含む最先端のベースラインを一貫して上回る。
• エッジ分類タスクでは、最良のベースラインよりも顕著な改善が得られ、Reddit データセットでは F1 スコアで最大 5.2% の向上を達成した。
• リンク予測においては、すべてのベースラインを上回る AUC および AUPRC を達成し、エゴグラフアテンションによるノード表現学習の有効性を示した。
• アブレーションスタディにより、トランスフォーマーへのグラフ統合とエゴグラフアテンションの両方が重要なコンポONENTであることが確認され、いずれかを除去すると平均で 4% 以上の性能低下が生じた。
• Edgeformers は効率的にスケーリング可能であり、Edgeformer-N の時間計算量は近隣ノード数に線形に増加するため、大規模グラフに対しても実用的である。
• モデルはドメインをまたいで高い頑健性を示し、ソーシャルネットワーク（Reddit）、製品レビューネットワーク（Amazon）、引用ネットワーク（PubMed, DBLP, OGB）において一貫した向上を示した。