[論文レビュー] Graph Transformer Networks

Seongjun Yun, Minbyul Jeong+3 more|arXiv (Cornell University)|Nov 6, 2019

Advanced Graph Neural Networks被引用数 514

ひとこと要約

GTNsは異種グラフを複数のメタパスグラフへ変換し、手動で定義されたメタパスなしにエンドツーエンドのノード分類を実行し、ベンチマークで最先端の結果を達成します。

ABSTRACT

Graph neural networks (GNNs) have been widely used in representation learning on graphs and achieved state-of-the-art performance in tasks such as node classification and link prediction. However, most existing GNNs are designed to learn node representations on the fixed and homogeneous graphs. The limitations especially become problematic when learning representations on a misspecified graph or a heterogeneous graph that consists of various types of nodes and edges. In this paper, we propose Graph Transformer Networks (GTNs) that are capable of generating new graph structures, which involve identifying useful connections between unconnected nodes on the original graph, while learning effective node representation on the new graphs in an end-to-end fashion. Graph Transformer layer, a core layer of GTNs, learns a soft selection of edge types and composite relations for generating useful multi-hop connections so-called meta-paths. Our experiments show that GTNs learn new graph structures, based on data and tasks without domain knowledge, and yield powerful node representation via convolution on the new graphs. Without domain-specific graph preprocessing, GTNs achieved the best performance in all three benchmark node classification tasks against the state-of-the-art methods that require pre-defined meta-paths from domain knowledge.

研究の動機と目的

• 固定された均質グラフを超えた異種グラフにおけるノード表現の学習を動機づける。
• 各タスクに対して有用なメタパスとマルチホップ接続を自動的に発見するフレームワークを開発する。
• グラフ構造学習とノード表現学習を統合したエンドツーエンドの訓練を実現する。
• 予測に寄与するメタパス（エッジタイプ）を特定することで解釈性を提供する。

提案手法

• 異種グラフを異なるエッジタイプごとの複数の隣接行列を用いて表現する。
• ソフトマックスを用いた1x1畳み込みで候補となるエッジタイプをソフトに重み付け選択する。
• 選択された隣接行列を掛け合わせて新しいメタパスグラフを形成する（Q1 Q2）し、A(l) = D^{-1} Q1 Q2 のように正規化する。
• 候補集合に単位行列を含めて、可変なパス長と元のエッジを学習できるようにする。
• 各学習済みメタパスグラフに対してGCNを適用し、マルチチャネル表現を結合して最終予測を行う。
• ラベル付きノードに対して標準のクロスエントロピー損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: Are the new graph structures generated by GTN effective for learning node representations?
• RQ2 RQ2: Can GTN adaptively produce a variable length of meta-paths depending on datasets?
• RQ3 RQ3: How can we interpret the importance of each meta-path from the adjacency matrices generated by GTNs?
• RQ4 (Extra) Do GTNs outperform methods that require predefined meta-paths on heterogeneous graph node classification?

主な発見

DeepWalk	metapath2vec	GCN	GAT	HAN	GTN_-I	GTN (proposed)
63.18	85.53	87.30	93.71	92.83	93.91	94.18
67.42	87.61	91.60	92.33	90.96	91.13	92.68
32.08	35.21	56.89	58.14	56.77	52.33	60.92

• GTN は 3 つのデータセットすべてで、ランダムウォークベースラインおよび他の GNN と比較して最高の性能を達成する。
• GAT は学習された近傍重みによる利点のために通常は GCN を上回る一方、HAN はこれらの実験では GAT より劣る。
• GTN を identity なしで実行した GTN_-I は完全な GTN より性能が劣り、短いメタパスの学習の有用性を示す。
• GTN はターゲットノードのドメイン定義されたメタパスと整合するメタパスを学習し、未知で情報量の多いメタパスも発見する。
• データセットに応じてメタパス長を適応でき、短いパスが有利な場合には identity により高い注意を置く（IMDB で観測）。
• アブレーションでは GTNs が学習済みの複数のメタパスグラフ上の GCN のアンサンブルとして機能し、エンドツーエンド学習で性能が向上することを示す。