[논문 리뷰] Generalization and Representational Limits of Graph Neural Networks

Vikas Garg, Stefanie Jegelka외 1명|arXiv (Cornell University)|2020. 02. 14.

Advanced Graph Neural Networks참고 문헌 52인용 수 54

한 줄 요약

본 논문은 표준 로컬 정보 GNN들이 핵심 그래프 성질을 계산할 수 없으며, 로컬 순열 불변성을 반영한 메시지 전달 GNN에 대한 데이터 의존 일반화 경계와 더 표현력이 높은 GNN 변형을 제시한다.

ABSTRACT

We address two fundamental questions about graph neural networks (GNNs). First, we prove that several important graph properties cannot be computed by GNNs that rely entirely on local information. Such GNNs include the standard message passing models, and more powerful spatial variants that exploit local graph structure (e.g., via relative orientation of messages, or local port ordering) to distinguish neighbors of each node. Our treatment includes a novel graph-theoretic formalism. Second, we provide the first data dependent generalization bounds for message passing GNNs. This analysis explicitly accounts for the local permutation invariance of GNNs. Our bounds are much tighter than existing VC-dimension based guarantees for GNNs, and are comparable to Rademacher bounds for recurrent neural networks.

연구 동기 및 목표

• LU-GNNs 및 관련 로컬 구조 GNN 변형으로써 몇 가지 중요한 그래프 성질이 계산 불가능하다는 점을 입증한다.
• CPNGNNs 및 관련 모델을 분석하기 위한 그래프 이론 형식을 개발한다.
• 로컬 순열 불변성을 고려한 메시지 전달 GNN의 데이터 의존 일반화 경계를 제시한다.
• 추가 기하학적 및 포트 정보를 활용하여 확인된 한계를 극복하는 더 표현력이 높은 GNN 변형(H-DCPN)을 도입한다.]
• method=[

제안 방법

• Locally Unordered GNNs(LU-GNNs) 및 CPNGNN, DimeNet과 같은 변형을 정의한다.
• LU-GNNs가 구별할 수 없도록 그래프를 구성하여, 기리트, 둘레, 직경, 반경, 결합 순환, 총 순환 수 및 k-클리퀩과 같은 성질을 계산할 수 없게 만든다.
• CPNGNN의 한계를 formalize하기 위해 포트-커버(port-covers) 및 포트-로컬 동형 그래프(port-locally isomorphic graph) 개념을 도입한다.
• 방향 메시지 전달, 포트 넘버링 및 기하 평면 특성을 결합한 더 표현력이 높은 변형인 H-DCPN을 제안한다.
• 로컬 계산 트리를 펼치고 순열 불변 집계로 Rademacher 복잡도를 한정하여 평균장 확률론적 경계(mean-field GNNs에 대한 데이터 의존 일반화 경 bounds를 유도한다.

실험 결과

연구 질문

• RQ1 Can LU-GNNs distinguish graphs that differ on key properties like girth, diameter, or clique structure?
• RQ2 Do port-numbering based GNNs (CPNGNNs) overcome the limitations of LU-GNNs across these properties?
• RQ3 What are the data-dependent generalization guarantees for message-passing GNNs that account for local permutation invariance?

주요 결과

• LU-GNNs는 로컬 정보만으로 몇 가지 중요한 그래프 성질을 계산할 수 없다.
• CPNGNNs는 LU-GNNs가 구별하지 못하는 그래프를 구별할 수 있지만, 그것의 능력은 선택된 포트 넘버링에 따라 달라진다.
• 일관된 포트 순서가 존재하는 경우 CPNGNNs는 여러 그래프 성질을 결정하지 못하는 반면, DimeNet은 여전히 다른 경우에는 충분하지 않을 수 있다.
• 5. 순열 불변 읽기(readout)를 갖춘 DimeNet은 기리트, 둘레, 직경, 반경 또는 총 순환 수를 결정하지 못하며; 포트 넘버링만으로도 충분하지 않다.
• H-DCPN으로 불리는 더 표현력이 높은 변형은 평면-각도 특징を 활용하여 CPNGNN 및 DimeNet 모두에서 실패한 그래프를 구별할 수 있다.
• 논문은 깊이, 폭, 샘플 크기에 대한 의존성을 갖는 RNN형 경계와 일치하는 데이터 의존 일반화 경계를 GNN에 대해 도출하며, 로컬 순열 불변성에 대한 명시적 처리를 포함한다.