[論文レビュー] DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification

Jun Wu, Jingrui He+1 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Graph Neural Networks参考文献 28被引用数 14

ひとこと要約

DEMO-Net は、マルチタスク学習を通じてノードの次数に依存する、シード指向で、順序に依存しないグラフ畳み込みを明示的にモデル化することにより、ノード分類およびグラフ分類を向上させる次数特化型のグラフニューラルネットワークである。次数特化型の重み共有またはハッシュ関数を用いて次数特化の構造的情報を保持し、新規のヒルベルトカーネルに基づくグラフレベルのプーリング機構を採用することで、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Graph data widely exist in many high-impact applications. Inspired by the success of deep learning in grid-structured data, graph neural network models have been proposed to learn powerful node-level or graph-level representation. However, most of the existing graph neural networks suffer from the following limitations: (1) there is limited analysis regarding the graph convolution properties, such as seed-oriented, degree-aware and order-free; (2) the node's degree-specific graph structure is not explicitly expressed in graph convolution for distinguishing structure-aware node neighborhoods; (3) the theoretical explanation regarding the graph-level pooling schemes is unclear. To address these problems, we propose a generic degree-specific graph neural network named DEMO-Net motivated by Weisfeiler-Lehman graph isomorphism test that recursively identifies 1-hop neighborhood structures. In order to explicitly capture the graph topology integrated with node attributes, we argue that graph convolution should have three properties: seed-oriented, degree-aware, order-free. To this end, we propose multi-task graph convolution where each task represents node representation learning for nodes with a specific degree value, thus leading to preserving the degree-specific graph structure. In particular, we design two multi-task learning methods: degree-specific weight and hashing functions for graph convolution. In addition, we propose a novel graph-level pooling/readout scheme for learning graph representation provably lying in a degree-specific Hilbert kernel space. The experimental results on several node and graph classification benchmark data sets demonstrate the effectiveness and efficiency of our proposed DEMO-Net over state-of-the-art graph neural network models.

研究の動機と目的

• 既存のグラフニューラルネットワークがノードおよびグラフ表現における次数特化の構造的情報を捉えることの制限を解消すること。
• Weisfeiler-Lehman同型性テストにインspiredされた、3つの重要な性質（シード指向、次数に依存、順序に依存しない）を持つグラフ畳み込みを形式化すること。
• 各タスクが特定のノード次数に対応するマルチタスク学習フレームワークを設計し、構造的識別性を向上させること。
• 理論的根拠に基づいたグラフレベルのプーリング機構を構築し、表現が次数特化のヒルベルトカーネル空間上に位置することを保証すること。
• ノード分類およびグラフ分類のベンチマークにおいて、DEMO-Netの有効性と効率性を実証的に検証すること。

提案手法

• 各タスクを特定の次数値を持つノードに割り当てることで、グラフ畳み込みをマルチタスク学習問題として形式化する。
• 2つのバリエーションを導入：次数特化型の重み共有と次数特化型のハッシュ関数を用いて、各次数ごとに畳み込みをパラメータ化する。
• ノード表現を次数特化のヒルベルトカーネル空間に射影する新規なグラフレベルのプーリング機構を採用し、理論的整合性を確保する。
• Weisfeiler-Lehmanテストにインspiredされた再帰的隣接領域集約を用い、局所的なトポロジーに基づいてノード表現を段階的に精緻化する。
• ノード分類およびグラフ分類の両タスクに対して、クロスエントロピー損失を用いたエンドツーエンドの学習を実施する。
• 教師ありおよび教師なしの事前学習設定をサポートし、プーリング手法のアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 次数特化型のグラフ畳み込みは、同じ次数のノード間の構造的差を保持することで、ノード表現学習を向上させることができるか？
• RQ2 グラフ畳み込みに次数に依存する性質を組み込むと、近隣構造の識別性にどのような影響を与えるか？
• RQ3 新規なグラフレベルのプーリング機構は、理論的にグラフ表現を次数特化のヒルベルトカーネル空間に写像できるか？
• RQ4 DEMO-Net は、標準的なノードおよびグラフ分類ベンチマークで最先端のGNNおよびグラフカーネル手法を上回るか？
• RQ5 DEMO-Net の計算効率は、グラフサイズおよびユニークな次数の数に対してどのようにスケーリングされるか？

主な発見

• DEMO-Net (weight) は MUTAG で 81.4% の精度を達成し、DeepWL や DCNN、PATCHY-SAN、DIFFPOOL などすべてのベースライン手法を上回った。
• ENZYMES では、DEMO-Net (weight) が 27.2% の精度に達し、次に優れた手法（DIFFPOOL で 18.4%）を上回った。
• 次数特化型のプーリング機構は、すべてのデータセットで平均プーリングベースラインを上回る性能を安定して示し、その有効性を確認した。
• DEMO-Net (hash) は MUTAG で 77.1%、ENZYMES で 25.1% の精度を達成し、低いパラメータ複雑性で優れた一般化性能を示した。
• 1エポックあたりのウォールクロック時間はノード数に線形にスケーリングされ、ノード分類タスクにおいて GAT よりも顕著に効率的であった。
• ハッシュバージョンの時間計算量は O(nFF′ + mF′)、重みバージョンは O(T(nFF′ + mF′)) であり、T ≪ n かつ T ≪ m の場合、実用的には両者とも線形にスケーリングされる。