[論文レビュー] On Size Generalization in Graph Neural Networks

Gilad Yehudai, Ethan Fetaya+3 more|arXiv (Cornell University)|May 4, 2021

Advanced Graph Neural Networks参考文献 10被引用数 3

ひとこと要約

この論文は、小さなグラフで訓練されたにもかかわらず、グラフニューラルネットワーク（GNNs）が大きなグラフに一般化できない理由を調査し、局所的な接続性および特徴パターンの分布シフトが性能低下を引き起こすことを証明している。本研究では、サイズ一般化をドメイン適応問題として形式化し、自己教師ありおよび半教師あり学習の設定を提案することで、複数のベンチマークにおいて未観測の大規模グラフでの一般化性能を顕著に向上させた。

ABSTRACT

Graph neural networks (GNNs) can process graphs of different sizes but their capacity to generalize across sizes is still not well understood. Size generalization is key to numerous GNN applications, from solving combinatorial optimization problems to learning in molecular biology. In such problems, obtaining labels and training on large graphs can be prohibitively expensive, but training on smaller graphs is possible. This paper puts forward the size-generalization question and characterizes important aspects of that problem theoretically and empirically. We prove that even for very simple tasks, such as counting the number of nodes or edges in a graph, GNNs do not naturally generalize to graphs of larger size. Instead, their generalization performance is closely related to the distribution of local patterns of connectivity and features and how that distribution changes from small to large graphs. Specifically, we prove that for many tasks, there are weight assignments for GNNs that can perfectly solve the task on small graphs but fail on large graphs, if there is a discrepancy between their local patterns. We further demonstrate on several tasks, that training GNNs on small graphs results in solutions which do not generalize to larger graphs. We then formalize size generalization as a domain-adaption problem and describe two learning setups where size generalization can be improved. First, as a self-supervised learning problem (SSL) over the target domain of large graphs. Second as a semi-supervised learning problem when few samples are available in the target domain. We demonstrate the efficacy of these solutions on a diverse set of benchmark graph datasets.

研究の動機と目的

• 小さなグラフで訓練されたGNNが、理論的容量があるにもかかわらず、大きなグラフに一般化できない理由を理解すること。
• 局所的な接続性および特徴パターンの差異に注目し、小さなグラフと大きなグラフの間で生じる不一致を原因として、サイズ一般化が劣化する根本的要因を同定すること。
• サイズ一般化をドメイン適応問題として形式化し、体系的な改善を可能にすること。
• 自己教師あり学習と半教師あり学習の2つの学習設定を提案・評価し、一般化性能を向上させること。
• 多様なグラフベンチマークデータセット上で、これらのアプローチの有効性を実証的に検証すること。

提案手法

• 理論的分析により、GNNが小さなグラフでは単純なタスク（例：ノード数・エッジ数の数え上げ）を完璧に解けるが、局所的パターンの分布が異なると大きなグラフでは失敗することを証明した。
• 本研究では、サイズ一般化をドメイン適応問題として定式化し、小さなグラフをソースドメイン、大きなグラフをターゲットドメインとして扱った。
• 自己教師あり学習（SSL）の設定を提案し、対照的学習を用いて大規模グラフ上で事前学習することで、局所的な構造的パターンと特徴パターンを整合させる。
• 半教師あり学習の設定を導入し、ターゲットドメインに少数のラベル付き例を活用して、小さなグラフで訓練されたモデルを微調整した。
• 提案手法は、引用ネットワークや分子グラフを含む複数のベンチマークデータセットで評価され、制御されたサイズ一般化設定下で検証された。
• 一般化性能は、小さなグラフでのみ訓練した状態での大規模グラフ上のモデル精度を測定することで評価され、本手法を用いた場合と用いない場合を比較した。

実験結果

リサーチクエスチョン

• RQ1 小さなグラフで訓練されたGNNが、ノード数やエッジ数の数え上げといった単純なタスクですら、なぜ大きなグラフに一般化できないのか？
• RQ2 小さなグラフと大きなグラフの間で、局所的接続性および特徴パターンの分布がどのようにシフトするかが、GNNの一般化にどのような影響を与えるか？
• RQ3 サイズ一般化をドメイン適応問題として扱うことで、改善が図れるか？
• RQ4 大規模グラフ上で自己教師あり事前学習を実施することで、GNNの一般化性能が向上するか？
• RQ5 ターゲットドメインに少数のラベル付き例を提供することで、半教師あり設定においてサイズ一般化が顕著に向上するか？

主な発見

• 単純な数え上げタスクですら、局所的パターンの分布シフトが原因で、GNNは大きなグラフへの一般化に失敗する可能性がある。これは、小さなグラフでは完璧な性能を示すにもかかわらず。
• 理論的分析により、GNNは本質的にサイズ一般化可能とは限らず、ソースグラフとターゲットグラフの局所的パターン分布の類似性に強く依存することが確認された。
• 大規模グラフ上で自己教師あり学習を実施することで、一般化性能が顕著に向上し、標準的な訓練と比較して未観測の大規模グラフにおける性能低下が著しく減少した。
• ターゲットドメインに少数のラベル付き例を用いた半教師あり微調整により、サイズ一般化が著しく向上した。
• 提案手法は、引用ネットワークや分子グラフを含む多様なグラフデータセットにおいて、標準的な訓練手法を常に上回る性能を示した。
• 実証的結果から、一般化の失敗はモデル容量の不足によるものではなく、局所的グラフ構造の分布シフトに起因することが示された。