[論文レビュー] Heterogeneous Graph Transformer

Ziniu Hu, Yuxiao Dong+2 more|arXiv (Cornell University)|Mar 3, 2020

Advanced Graph Neural Networks参考文献 28被引用数 30

ひとこと要約

Heterogeneous Graph Transformer (HGT) はメタリレーション認識付きアテンション、異種属性メッセージ伝搬、相対時刻エンコーディングを導入してWeb規模の異種グラフをモデル化し、Open Academic Graph での学習を可能にし、ベースラインを9%–21%上回る。

ABSTRACT

Recent years have witnessed the emerging success of graph neural networks (GNNs) for modeling structured data. However, most GNNs are designed for homogeneous graphs, in which all nodes and edges belong to the same types, making them infeasible to represent heterogeneous structures. In this paper, we present the Heterogeneous Graph Transformer (HGT) architecture for modeling Web-scale heterogeneous graphs. To model heterogeneity, we design node- and edge-type dependent parameters to characterize the heterogeneous attention over each edge, empowering HGT to maintain dedicated representations for different types of nodes and edges. To handle dynamic heterogeneous graphs, we introduce the relative temporal encoding technique into HGT, which is able to capture the dynamic structural dependency with arbitrary durations. To handle Web-scale graph data, we design the heterogeneous mini-batch graph sampling algorithm---HGSampling---for efficient and scalable training. Extensive experiments on the Open Academic Graph of 179 million nodes and 2 billion edges show that the proposed HGT model consistently outperforms all the state-of-the-art GNN baselines by 9%--21% on various downstream tasks.

研究の動機と目的

• メタリレーションを用いてノード種別とエッジ種別に依存する表現を設計し、非均質性を捉える。
• 相対的時刻エンコーディング機構を用いて動的グラフをモデル化する。
• 専用のサブグラフサンプリング手法を介してWeb規模の異種グラフでのスケーラブルな学習を可能にする。
• Open Academic Graph およびドメイン固有の異種グラフでの有効性を実証する。

提案手法

• ⟨τ(s), φ(e), τ(t)⟩ のトリプレットパラメータを用いてアテンションヘッドを計算する、メタリレーション認識付き異種相互アテンションを提案する。
• 関係認識型の線形射影とエッジ特異的変換行列を用いた異種メッセージ伝搬を設計する。
• 残差接続とタイプ特異的線形写像を用いたターゲット特異的集約を適用し、H^(l)[t] を生成する。
• サイン波ベースと学習済み射影を用いてΔT(t,s)をノード表現に注入する Relative Temporal Encoding (RTE) を導入する。
• タイプ別ノード予算を用いてWeb規模の学習のために密でバランスの取れた異種サブグラフを作成する HGSampling を開発する。
• イベントに連結されたノードから継承してプレーンノードにタイムスタンプを付与する帰納的なタイムスタンプ割り当てを提供する。

実験結果

リサーチクエスチョン

• RQ1 ノード/エッジ分布が異なる異種グラフを効果的にモデル化しつつ、タイプ間の相互作用を可能にするには？
• RQ2 Transformerに触発されたアテンション機構がメタリレーションのトリプレットを通じてリレーションをパラメータ化し、表現品質を向上させることができるか？
• RQ3 別個の時系列スライスグラフを構築することなく、異種グラフに時間的ダイナミクスを組み込むには？
• RQ4 タイプの不均衡や情報損失を避けつつ、Web規模の異種グラフでスケーラブルな学習を可能にするサンプリング戦略は？
• RQ5 提案手法はOAGのような大規模異種グラフの下流タスクを改善するか？

主な発見

• HGTは下流タスクで最先端GNNベースラインを一貫して9%–21%上回る。
• Open Academic Graph with 179 million nodes and 2 billion edges を持つ Open Academic Graph を用いてスケーラビリティと有効性を示した。
• HGSampling はWeb規模の異種グラフでの学習を可能にする、バランスの取れた密なサブグラフを生み出す。
• RTE は任意の期間と未見のタイムスタンプを含む動的構造依存性のモデリングを可能にする。
• メタリレーションベースのパラメータ化は共有を可能にしつつタイプ特有のパターンを保持し、一般化を向上させる。
• ケーススタディは、HGT がタスクにとって重要な暗黙のメタパスを自動的に推測できることを示す。