[論文レビュー] Directional Graph Networks

Dominique Beaini, Saro Passaro+4 more|arXiv (Cornell University)|Oct 6, 2020

Graph Theory and Algorithms参考文献 42被引用数 10

ひとこと要約

本稿では、グラフラプラシアン固有ベクトルを用いて一貫した方向性の流れを定義する、新しいGNNフレームワークである方向性グラフネットワーク（DGNs）を紹介する。これにより、非対称なメッセージ伝達が可能となり、表現力が向上する。ノードのメッセージをこれらの方向性場に射影することで、DGNsは優れた表現力を達成する—1-WLテストにおいて標準GNNよりもより区別可能であることが証明されており、過剰平滑化も軽減される。ZINCやCIFAR10を含むベンチマークデータセットにおいて、8–32%の誤差低減を達成し、最先端の性能を発揮する。

ABSTRACT

The lack of anisotropic kernels in graph neural networks (GNNs) strongly limits their expressiveness, contributing to well-known issues such as over-smoothing. To overcome this limitation, we propose the first globally consistent anisotropic kernels for GNNs, allowing for graph convolutions that are defined according to topologicaly-derived directional flows. First, by defining a vector field in the graph, we develop a method of applying directional derivatives and smoothing by projecting node-specific messages into the field. Then, we propose the use of the Laplacian eigenvectors as such vector field. We show that the method generalizes CNNs on an $n$-dimensional grid and is provably more discriminative than standard GNNs regarding the Weisfeiler-Lehman 1-WL test. We evaluate our method on different standard benchmarks and see a relative error reduction of 8% on the CIFAR10 graph dataset and 11% to 32% on the molecular ZINC dataset, and a relative increase in precision of 1.6% on the MolPCBA dataset. An important outcome of this work is that it enables graph networks to embed directions in an unsupervised way, thus allowing a better representation of the anisotropic features in different physical or biological problems.

研究の動機と目的

• 標準GNNにおける等方的（対称的）なカーネルの制限を解消し、表現力の制限と過剰平滑化の原因を軽減すること。
• 任意のグラフにおいて、画像の水平／垂直方向に類似した、グローバルに一貫した方向性の流れを定義する方法を確立すること。
• エッジ特徴量や局所構造に依存せずに、グラフ内での方向性のメッセージ伝達とフィルタリングを可能にすること。
• DGNsが1-WLテストにおいて標準GNNよりも表現力が高いことを証明すること。
• 標準ベンチマーク上でのDGNsの実証的検証を通じて、性能の向上と過剰平滑化に対するロバストネスを示すこと。

提案手法

• グラフレイプシアンの低周波数固有ベクトルの勾配を用いて方向性の流れを定義し、グローバル構造と拡散方向を捉える。
• 方向性導関数または平滑化を用いてノードのメッセージをこれらの方向性場に射影することで、非対称な集約を実現する。
• グラフレイプシアンの固有ベクトルを、グリッドグラフにおける水平・垂直方向の流れを一般化するベクトル場として用いる。
• 固有ベクトルの方向に沿ったウォークを組み合わせることで、グリッド上でのCNNカーネルを一般化した方向性畳み込みカーネルを構築する。
• 受信ノードにおけるベクトル場との整合性に基づいて、近隣ノードの寄与度を重みづける方向性アグリゲーターを実装する。
• 固有ベクトルの勾配を用いて、グラフ全体にわたる一貫した、教師なしの方向性バイアスを定義する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造のみを用いて、グローバルに一貫した方法で非等方的グラフ畳み込みを定義できるか？
• RQ2 GNNにおける方向性のメッセージ伝達が、1-WLテストを越えて表現力を向上させられるか？
• RQ3 ラプラシアン固有ベクトルから導出される方向性の流れは、グリッド構造のグラフにおいてCNNに類似した方向性フィルタリングを一般化できるか？
• RQ4 方向性のメッセージ伝達は、GNNにおける過剰平滑化を軽減できるか？
• RQ5 DGNsはエッジ特徴量に依存せずに、標準グラフベンチマークで最先端の性能を達成できるか？

主な発見

• DGNsはn次元グリッド上の半径Rのすべての畳み込みカーネルを一般化し、構造的設定においてCNNを模倣できる能力を示した。
• 1-WLテストにおいて、DGNsは標準GNNよりも明確に表現力が優れていることが証明された。これは、1-WLテストで区別できないグラフを区別できるという事実によって裏付けられた。
• CIFAR10グラフデータセットにおいて、DGNsはベースラインGNNと比較して相対誤差を8%低減した。
• 分子データセットZINCにおいて、DGNsは異なるアーキテクチャや設定において、相対誤差を11–32%低減した。
• MolPCBAデータセットでは、DGNsは適合度を1.6%相対的に向上させ、困難な分子性質予測タスクにおける性能向上を示した。
• 方向性導関数アグリゲーターが性能向上の主な要因であることが判明し、グラフ内での方向性で高い周波数の信号を効果的に捉えていることが示された。