[논문 리뷰] Evaluating Logical Generalization in Graph Neural Networks

Koustuv Sinha, Shagun Sodhani외 2명|arXiv (Cornell University)|2020. 03. 14.

Advanced Graph Neural Networks참고 문헌 57인용 수 15

한 줄 요약

이 논문은 일阶논리에 기반한 합성 지식 그래프를 사용하여 그래프 신경망(GNNs)의 논리적 일반화 능력을 평가하기 위한 GraphLog이라는 벤치마크를 소개한다. 이는 지도 학습, 다중 작업 학습, 지속적 학습 설정에서 GNNs를 평가하며, 주의 메커니즘과 모듈러 아키텍처 설계가 일반화 능력을 크게 향상시키는 것으로 나타났고, 지속적 학습에서의 치명적 기억 상실(catastrophic forgetting)은 여전히 핵심 과제로 남아 있다.

ABSTRACT

Recent research has highlighted the role of relational inductive biases in building learning agents that can generalize and reason in a compositional manner. However, while relational learning algorithms such as graph neural networks (GNNs) show promise, we do not understand how effectively these approaches can adapt to new tasks. In this work, we study the task of logical generalization using GNNs by designing a benchmark suite grounded in first-order logic. Our benchmark suite, GraphLog, requires that learning algorithms perform rule induction in different synthetic logics, represented as knowledge graphs. GraphLog consists of relation prediction tasks on 57 distinct logical domains. We use GraphLog to evaluate GNNs in three different setups: single-task supervised learning, multi-task pretraining, and continual learning. Unlike previous benchmarks, our approach allows us to precisely control the logical relationship between the different tasks. We find that the ability for models to generalize and adapt is strongly determined by the diversity of the logical rules they encounter during training, and our results highlight new challenges for the design of GNN models. We publicly release the dataset and code used to generate and interact with the dataset at https://www.cs.mcgill.ca/~ksinha4/graphlog.

연구 동기 및 목표

• 그래프 신경망(GNNs)이 다양한 관계 기반 작업 간에 논리적 일반화를 얼마나 잘 수행하는지 조사하기 위해.
• 작업 유사도와 조합 일반화를 정밀하게 분석할 수 있는 제어 가능한 벤치마크를 설계하기 위해.
• 주의 메커니즘과 모듈러리티와 같은 아키텍처 선택이 논리적 일반화 성능에 미치는 영향을 평가하기 위해.
• 특히 치명적 기억 상실 문제에 초점을 맞춰, GNN의 다중 작업 및 지속적 학습 시나리오에서의 한계를 평가하기 위해.
• 향후 GNN의 논리적 추론 연구를 위한 공개된 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• 벤치마크인 GraphLog은 일阶논리 규칙 집합에 기반해 합성 지식 그래프를 생성하며, 서로 다른 '논리적 세계'를 정의한다.
• 각 세계는 빠진 사실이 포함된 다수의 지식 그래프를 생성하며, 이를 해결하기 위해 논리적 조합이 필요하다.
• 모델은 세 가지 설정에서 평가된다: 단일 작업 지도 학습, 다양한 세계에서의 다중 작업 미리 학습, 순차적인 세계 노출을 통한 지속적 학습.
• 아키텍처 구성 요소로는 간선 주의 메커니즘을 갖춘 GAT(GAT-EGAT)와 관계에 대한 매개변수화된 표현 함수를 갖춘 모듈러 디자인을 포함한다.
• 다른 세계 간 논리 규칙의 겹침 비율을 조절하여 작업 유사도를 제어함으로써, 전이 및 일반화의 체계적 분석이 가능하다.
• 성능 평가는 미리 보지 않은 규칙 조합에 대한 평균 정확도로 측정되며, 공유 구성 요소(표현 함수 대비 조합 함수)에 대한 분석도 수행된다.

실험 결과

연구 질문

• RQ1 지도 학습 설정에서 GNNs는 기존 규칙의 새로운 조합에 대해 얼마나 잘 논리적 규칙을 일반화하는가?
• RQ2 다양한 논리적 세계에서 학습하면 다중 작업 일반화 및 적응 성능가 개선되는가?
• RQ3 주의 메커니즘과 모듈러 아키텍처와 같은 아키텍처 선택이 GNN의 논리적 일반화에 어떤 영향을 미치는가?
• RQ4 특히 서로 다른 논리적 영역 간에 치명적 기억 상실이 발생하는 경우, GNN의 지속적 학습에서의 한계는 무엇인가?
• RQ5 특정 구성 요소(표현 함수 또는 조합 함수)를 공유하면 지속적 학습 시나리오에서 기억 상실을 완화시킬 수 있는가?

주요 결과

• 간선 주의 메커니즘과 관계에 대한 매개변수화된 표현 함수를 갖춘 GAT-EGAT는 논리적 일반화 작업에서 다른 GNN 아키텍처보다 일관되게 뛰어난 성능을 보였다.
• 20개의 다양한 논리적 세계에서 학습하는 것이 적은 수나 너무 많은 수의 세계에서 학습하는 것보다 더 나은 일반화를 이끌어내며, 용량 포화로 인해 성능이 감소하기 전에 최적의 성능을 기록했다.
• 모든 평가된 모델이 지속적 학습에서 치명적 기억 상실을 보였으며, 새로운 세계가 도입되면서 이전에 본 세계의 성능이 급격히 저하되었다.
• 표현 함수를 세계 간에 공유하면 치명적 기억 상실이 감소하지만, 조합 함수를 공유해도 그렇지 않아, 표현 함수가 조합 함수보다 더 이식 가능함을 시사한다.
• 다중 작업 미리 학습에서, 다양한 분포에서 사전 학습한 모델은 새로운 유사성이 낮은 세계에 더 잘 적응하는 경향을 보였으며, 이는 다양성이 이식 가능성을 높임을 시사한다.
• 제로샷 적응 성능은 학습 및 평가 세계 간의 유사도가 낮을수록 감소하지만, 파인튜닝 성능은 유사도가 낮아질수록 증가하여, 다양성이 적응 능력을 향상시킴을 나타낸다.