[論文レビュー] What graph neural networks cannot learn: depth vs width

Andreas Loukas|arXiv (Cornell University)|Jul 6, 2019

Advanced Graph Neural Networks参考文献 54被引用数 23

ひとこと要約

本稿では、メッセージパッシング型グラフニューラルネットワーク（GNN）が、十分な深さ、幅、ノード属性の表現力、およびレイヤー容量を備えるとチューリング普遍性を示すことが確立されている。しかし、サイクル検出、最短経路、最小頂点被覆といった基本的なグラフ問題を解くには、深さと幅の積がグラフサイズに関して多項式的境界を超える必要がある。主な貢献は、分散計算の結果を再利用することで、GNNの深さと幅が制限されると表現力が著しく低下することを示す、新たな下界技術の開発である。

ABSTRACT

This paper studies the expressive power of graph neural networks falling within the message-passing framework (GNNmp). Two results are presented. First, GNNmp are shown to be Turing universal under sufficient conditions on their depth, width, node attributes, and layer expressiveness. Second, it is discovered that GNNmp can lose a significant portion of their power when their depth and width is restricted. The proposed impossibility statements stem from a new technique that enables the repurposing of seminal results from distributed computing and leads to lower bounds for an array of decision, optimization, and estimation problems involving graphs. Strikingly, several of these problems are deemed impossible unless the product of a GNNmp's depth and width exceeds a polynomial of the graph size; this dependence remains significant even for tasks that appear simple or when considering approximation.

研究の動機と目的

• メッセージパッシング型GNNが、複雑なグラフ理論的関数を学習する際の理論的限界を特定すること。
• GNNがチューリング普遍性を達成する条件を同定し、任意のグラフ上で計算可能な関数の計算を可能にする。
• 深さと幅を制限した場合、GNNがグラフ上の意思決定問題、最適化問題、推定問題を解く能力に与える影響を分析すること。
• さまざまなグラフ問題を解くために必要な深さ×幅の積（dw）の下界を確立し、単純なタスクですら非定数の容量を要することを示すこと。
• ノード属性がGNNの表現力に与える役割、特にノードの区別やグラフ間の一般化能力に与える影響を調査すること。

提案手法

• 分散計算分野の古典的結果、特にLOCALモデルを再利用し、GNNの容量に関する下界を導出する。
• 十分な条件のもとでGNNとLOCALモデルの等価性を確立し、深さ、幅、ノードの一意性、レイヤーの表現力が十分に備わっていればチューリング普遍性が証明されることを示す。
• GNNにおける情報伝搬の半径を分析することで不可能性結果を導出し、分散計算の下界と結びつける。
• 分散アルゴリズムの下界をGNNの深さと幅に関する制約に翻訳する、新たな技術を用いる。
• 4サイクル分類の制御実験を通じて理論的予測の妥当性を実証し、深さ、幅、ノード属性タイプを変化させる。
• 深さと幅を臨界容量で正規化することで、テスト精度に顕著な相転移が現れることを明らかにし、容量が十分であれば深さと幅が互換可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 メッセージパッシング型GNNが、チューリングマシンで計算可能な任意の関数を計算できる条件は何か？
• RQ2 サイクル検出や最短経路といった基本的なグラフ問題を解くために、GNNが必要な最小の深さ×幅の積（dw）は何か？
• RQ3 一意なIDのような判別性のあるノード属性を用いることで、GNNのグラフ間一般化能力や、そうでなければ不可能なタスクの実行能力にどのような影響を与えるか？
• RQ4 深さ×幅の積が臨界閾値を超えた際に、GNNの性能に相転移が現れるか？また、その閾値は個々の深さと幅の値とは独立しているか？
• RQ5 固定された容量（dw）のもとで、性能に影響を与えることなく、深さと幅をどれだけ交換可能にできるか？

主な発見

• GNNは十分な深さ、幅、ノード属性の表現力、およびレイヤー容量を備えていればチューリング普遍であり、グラフ上の任意の計算可能な関数を計算可能である。
• 奇数長のサイクルにおけるサイクル検出には、$ dw = \tilde{\Omega}(n / \log n) $ が必要であり、グラフサイズに強く依存することが示された。
• 最小頂点被覆や最大独立集合といった問題では、幅が一定のとき $ dw = \tilde{\Omega}(n^2 / \log^2 n) $ が必要であり、顕著な容量のボトルネックが存在することが示された。
• 直径の $ \frac{3}{2} $-近似のような近似タスクに対しても、$ dw = \tilde{\Omega}(\sqrt{n} / \log n) $ が必要であり、近似であっても容量要件が低下しないことが強調された。
• 実験的結果では、テスト精度が $ dw $ と強く相関しており、臨界容量閾値を超えると急激な相転移が観察された。また、$ dw < \text{臨界} $ の場合、深さや幅の分布にかかわらず失敗した。
• 一意なノードIDを備えたGNNは、$ n \leq 16 $ の場合に4サイクル分類で100％のテスト精度を達成したが、$ n = 40 $ では最も強力なアーキテクチャでも精度が80％未満に低下し、理論的限界を確認した。