[論文レビュー] Boosting Graph Structure Learning with Dummy Nodes

Xin Liu, Jay J. Cheng+2 more|arXiv (Cornell University)|Jun 17, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、元のグラフ構造を変更せずにすべての既存頂点に接続されたダミー頂点を導入することで、グラフ構造学習を向上させる新規手法を提案する。ダミー頂点により、損失なしで単形のエッジから頂点への変換とその逆変換が可能となり、局所的およびグローバル構造が保持される。この手法により、線形計算コストで、グラフカーネルおよびGNNにおけるグラフ分類および部分グラフ同型マッチングタスクの性能が向上する。

ABSTRACT

With the development of graph kernels and graph representation learning, many superior methods have been proposed to handle scalability and oversmoothing issues on graph structure learning. However, most of those strategies are designed based on practical experience rather than theoretical analysis. In this paper, we use a particular dummy node connecting to all existing vertices without affecting original vertex and edge properties. We further prove that such the dummy node can help build an efficient monomorphic edge-to-vertex transform and an epimorphic inverse to recover the original graph back. It also indicates that adding dummy nodes can preserve local and global structures for better graph representation learning. We extend graph kernels and graph neural networks with dummy nodes and conduct experiments on graph classification and subgraph isomorphism matching tasks. Empirical results demonstrate that taking graphs with dummy nodes as input significantly boosts graph structure learning, and using their edge-to-vertex graphs can also achieve similar results. We also discuss the gain of expressive power from the dummy in neural networks.

研究の動機と目的

• 既存のグラフ構造学習手法がヒューリスティック的または経験的に調整された戦略に依存しているのに対し、理論的根拠に基づくものではないという限界を解決すること。
• 特別に設計されたダミー頂点が、エッジから頂点への損失なしで構造を保全する変換を可能にするかを調査すること。
• ダミー頂点を用いてグラフカーネルおよびグラフニューラルネットワークを拡張し、複雑な部分グラフ構造を捉える能力を向上させること。
• 提案手法の有効性を、グラフ分類および部分グラフ同型マッチングタスクにおいて実験的に検証すること。
• メッセージパッシングニューラルネットワークおよびトランスフォーマーにダミー頂点を統合した際の表現力の向上を分析すること。

提案手法

• 既存頂点すべてに接続されたダミー頂点を導入し、元の頂点およびエッジの性質を保持すること。
• 構造的整合性を維持しながらエッジを頂点にマップする効率的な単形のエッジ-頂点変換 $ L_{\Phi} $ を設計すること。
• 変換後のグラフから元のグラフを回復可能な全射的逆変換 $ L_{\Phi}^{-1} $ を構築すること。
• エッジ-頂点変換を適用し、頂点中心のグラフカーネルおよびGNNを拡張することで、エッジベースの部分構造を暗黙的に学習可能にする。
• GNNおよびグラフカーネルにダミー頂点を統合し、エッジ数に比例する線形時間計算量を維持すること。
• 変換後のグラフ $ \mathcal{H}_{\Phi} $ をGNNおよびグラフカーネルの入力として用い、構造に敏感なタスクでの性能向上を実現すること。

実験結果

リサーチクエスチョン

• RQ1 すべての頂点に接続されたダミー頂点が、グラフ構造を保持したままエッジから頂点への損失なしの変換を可能にするか？
• RQ2 提案されたエッジ-頂点変換およびその逆変換が、元のグラフのトポロジーおよび部分構造的性質を保持するか？
• RQ3 ダミー頂点を組み込むことで、グラフカーネルおよびGNNのグラフ分類および部分グラフ同型マッチングタスクにおける性能向上はどの程度実現されるか？
• RQ4 メッセージパッシングニューラルネットワークにダミー頂点を追加した際、表現力はどのように変化するか？
• RQ5 CLSトークン（ダミー頂点に類似）を備えたトランスフォーマーは、標準のGNNよりも高い表現力を達成できるか？

主な発見

• 提案されたエッジ-頂点変換 $ L_{\Phi} $ は単形かつ損失なしであり、明確に定義された逆変換 $ L_{\Phi}^{-1} $ を備えており、元のグラフを回復可能である。
• ダミー頂点を備えたグラフは、グラフ分類および部分グラフ同型マッチングタスクで顕著な性能向上を示し、HGTではGDTで49.59％の相対誤差低減を達成した。
• DMPNN-LRPは同型データで最小の誤差を達成したが、線グラフによるエッジ表現学習の課題により、非同型グラフでは性能が低下した。
• 逆方向エッジとダミー頂点の組み合わせが性能向上に寄与したが、特にRGINでは顕著な向上が見られた。一方、DMPNNおよびDMPNN-LRPの主な向上要因は逆方向エッジに起因した。
• MPNNに $ \mathcal{H}_{\Phi} $ を適用した場合、2-WLを超える表現力を達成し、1-WLまたは2-WLに制限される標準GNNを上回った。
• CLSトークン（ダミー頂点に類似）を備えたトランスフォーマーは、2-WLを超える表現力を有すると予想され、12層モデルでは最大12,288サイズのパターンを捉える能力を持つ。