[論文レビュー] Node2Seq: Towards Trainable Convolutions in Graph Neural Networks

Hao Yuan, Shuiwang Ji|arXiv (Cornell University)|Jan 6, 2021

Advanced Graph Neural Networks参考文献 40被引用数 5

ひとこと要約

本稿では、アテンションに基づく順序付けと1次元畳み込みニューラルネットワークを用いて、隣接ノードのトレーニング可能で適応的な畳み込み重みを可能にする、新しいグラフニューラルネットワーク層Node2Seqを提案する。学習可能なアテンションスコアと適応的非局所情報を取り入れることで、Node2Seqはノード分類ベンチマークでSOTAの性能を達成し、GCN、GAT、その他のベースラインを一貫して上回る改善を示した。

ABSTRACT

Investigating graph feature learning becomes essentially important with the emergence of graph data in many real-world applications. Several graph neural network approaches are proposed for node feature learning and they generally follow a neighboring information aggregation scheme to learn node features. While great performance has been achieved, the weights learning for different neighboring nodes is still less explored. In this work, we propose a novel graph network layer, known as Node2Seq, to learn node embeddings with explicitly trainable weights for different neighboring nodes. For a target node, our method sorts its neighboring nodes via attention mechanism and then employs 1D convolutional neural networks (CNNs) to enable explicit weights for information aggregation. In addition, we propose to incorporate non-local information for feature learning in an adaptive manner based on the attention scores. Experimental results demonstrate the effectiveness of our proposed Node2Seq layer and show that the proposed adaptively non-local information learning can improve the performance of feature learning.

研究の動機と目的

• GCN や GAT のような既存のグラフニューラルネットワークにおける固定または明示的でない隣接ノード重み付けの制限を解消すること。
• 特徴集約中に、隣接ノードのためのトレーニング可能で動的な畳み込み重みを可能にすること。
• グラフ表現学習において、遠く離れたまたは非局所的ノードを無視することによる情報損失を軽減すること。
• アテンションスコアに基づいて、非局所的ノード情報を適応的に統合するメカニズムを開発すること。
• GNNにおける新しいトレーニング可能な畳み込み層を通じて、ノード特徴学習のパフォーマンスを向上させること。

提案手法

• 各ターゲットノードの隣接ノードをアテンションメカニズムを用いて順序付け、トレーニング可能なシーケンスを生成する。
• 順序付けられた隣接ノード特徴に1次元畳み込みニューラルネットワーク（CNN）を適用し、各隣接ノードの明示的でトレーニング可能な重みを学習する。
• すべての隣接ノード特徴を統合するグローバルリードアウト関数を統合し、次数にかかわらずすべてのノードからの情報を保持する。
• アテンションスコアに基づいて動的重み因子を学習することで、非局所的ノード情報を適応的に統合する。
• 残差接続を組み合わせ、複数層をスタックすることで、深層GNNアーキテクチャを構築する。
• 学習可能な重み行列と非線形活性化関数を用いて、メッセージパッシングによりノード表現を更新する。

実験結果

リサーチクエスチョン

• RQ1 隣接ノードのトレーニング可能で畳み込み的な重み付けが、GNNにおけるノード表現学習を改善できるか？
• RQ2 アテンションに基づく隣接ノード順序付けは、グラフニューラルネットワークのパフォーマンスにどのように影響するか？
• RQ3 非局所的情報を統合することで、ノード分類精度はどの程度向上するか？
• RQ4 1次元CNN部の異なるカーネルサイズは、モデルパフォーマンスにどのように影響するか？
• RQ5 提案された適応的非局所メカニズムは、多様なグラフデータセットにおいて一貫してパフォーマンスを向上させるか？

主な発見

• Node2Seqは全6つのベンチマークデータセットでGCN、GAT、その他のベースラインを上回り、Cora-Fでは84.0% ± 0.6の精度を達成したのに対し、GCNは81.6%であった。
• 非局所情報の適応的統合を実装したモデル（Node2Seq_g）は、局所的ノードのみを考慮するバージョン（Node2Seq_l）を著しく上回り、非局所的コンテキストの価値を示した。
• Squirrelデータセットでは、Node2Seqが58.8% ± 1.4の精度を達成し、同様のアーキテクチャを持つGCNベースライン（56.5%）を上回った。
• 最適なカーネルサイズはデータセットによって異なる：Squirrelではk=3が最良のパフォーマンスを示したが、Coraではk=10までカーネルサイズを大きくすることで性能が向上した。
• アブレーションスタディの結果、性能向上の主な要因はNode2Seq層そのものであり、アーキテクチャ設計によるものではないことが確認された。GCN層に置き換えると、3つのデータセットでパフォーマンスが低下した。
• 提案手法は全カーネルサイズで競争力のあるパフォーマンスを維持しており、ロバストネスと一般化能力を示している。