[論文レビュー] Evaluating Logical Generalization in Graph Neural Networks

Koustuv Sinha, Shagun Sodhani+2 more|arXiv (Cornell University)|Mar 14, 2020

Advanced Graph Neural Networks参考文献 57被引用数 15

ひとこと要約

この論文は、一階論理に基づく合成知識グラフを用いて、グラフニューラルネットワーク（GNN）の論理的汎化性能を評価するためのベンチマーク、GraphLogを紹介する。教師あり学習、マルチタスク学習、継続的学習の設定においてGNNを評価した結果、アテンション機構とモジュラーなアーキテクチャ設計が、汎化性能を顕著に向上させることがわかった一方で、継続的学習における深刻な記憶の消失（catastrophic forgetting）は依然として主要な課題であることが明らかになった。

ABSTRACT

Recent research has highlighted the role of relational inductive biases in building learning agents that can generalize and reason in a compositional manner. However, while relational learning algorithms such as graph neural networks (GNNs) show promise, we do not understand how effectively these approaches can adapt to new tasks. In this work, we study the task of logical generalization using GNNs by designing a benchmark suite grounded in first-order logic. Our benchmark suite, GraphLog, requires that learning algorithms perform rule induction in different synthetic logics, represented as knowledge graphs. GraphLog consists of relation prediction tasks on 57 distinct logical domains. We use GraphLog to evaluate GNNs in three different setups: single-task supervised learning, multi-task pretraining, and continual learning. Unlike previous benchmarks, our approach allows us to precisely control the logical relationship between the different tasks. We find that the ability for models to generalize and adapt is strongly determined by the diversity of the logical rules they encounter during training, and our results highlight new challenges for the design of GNN models. We publicly release the dataset and code used to generate and interact with the dataset at https://www.cs.mcgill.ca/~ksinha4/graphlog.

研究の動機と目的

• グラフニューラルネットワーク（GNN）が、多様な関係的タスクにおいて、どの程度論理的に汎化できるかを調査すること。
• タスクの類似度と合成的汎化の分析を正確に行えるように、制御されたベンチマークを設計すること。
• アテンションやモularityといったアーキテクチャ的選択が、論理的汎化性能に与える影響を評価すること。
• 特に記憶の消失に注目して、マルチタスクおよび継続的学習のシナリオにおけるGNNの限界を評価すること。
• 将来のGNNにおける論理的推論研究を支援するため、公開可能なデータセットとコードベースを提供すること。

提案手法

• ベンチマークであるGraphLogは、一階論理ルールの集合に基づいて合成知識グラフを生成し、重複するルールセットを持つ複数の「論理的世界」を定義する。
• 各世界は、欠落した事実を含む複数の知識グラフを生成し、それらは論理的合成を要する関係予測タスクを形成する。
• モデルは3つの設定で評価される：単一タスクの教師あり学習、多様な世界をカバーするマルチタスク事前学習、順次的に世界を露出する継続的学習。
• アーキテクチャの要素には、エッジアテンションを備えたGAT（GAT-EGAT）と、関係のためのパラメトリック表現関数を備えたモジュラー設計が含まれる。
• 異なる世界間の論理的ルールの重複度を調整することで、タスクの類似度を制御し、転移と汎化の系統的分析を可能にする。
• 性能は、未知のルール組み合わせに対する平均正答率で測定され、共有コンponents（表現関数 vs. 組み合わせ関数）のアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習設定において、GNNは既知のルールの未確認組み合わせに対して、どの程度論理的ルールを汎化できるか？
• RQ2 多様な論理的世界で学習することで、マルチタスクの汎化性能と適応性能はどの程度向上するか？
• RQ3 アテンション機構やモジュラー設計といったアーキテクチャ的選択は、GNNの論理的汎化にどのように影響するか？
• RQ4 特に異なる論理的ドメイン間での記憶の消失に注目した場合、GNNの継続的学習における限界は何か？
• RQ5 特定のコンponents（表現関数または組み合わせ関数）を共有することで、継続的学習シナリオにおける記憶の消失を緩和できるか？

主な発見

• エッジアテンションと関係のためのパラメトリック表現関数を備えたGAT-EGATは、論理的汎化タスクにおいて、他のGNNアーキテクチャを常に上回る性能を示した。
• 20の論理的世界で学習させることで、少ないまたは多すぎる世界で学習する場合に比べ、より良い汎化性能が得られた。性能は容量の飽和に伴い低下するが、ピークに達する。
• 評価されたすべてのモデルが継続的学習において記憶の消失を示し、新しい世界が追加されるたびに、以前に学習した世界の性能が急激に低下した。
• 表現関数を世界間で共有することで記憶の消失が軽減されたが、組み合わせ関数を共有しても効果がなかったため、表現関数の方が組み合わせ関数よりも転送可能であることが示された。
• マルチタスク事前学習において、事前学習に多様な分布を用いることで、新しい類縁のない世界への適応性能が向上した。これは、多様性が転送性を高めることを示唆している。
• ゼロショット適応性能は、学習と評価の世界の類似度が低いほど低下するが、ファインチューニング性能は類似度が低いほど向上する。これは、多様性が適応能力を高めることを示している。