[논문 리뷰] Universal Invariant and Equivariant Graph Neural Networks

Nicolas Keriven, Gabriel Peyré|arXiv (Cornell University)|2019. 05. 13.

Advanced Graph Neural Networks참고 문헌 46인용 수 81

한 줄 요약

이 논문은 Stone-Weierstrass 유사 방법을 이용해 한 은닉층의 불변 및 등가 그래프 신경망(GNN) 클래스에 대한 보편 근사를 증명하고, 그래프의 크기가 서로 다른 그래프에 대한 함수로의 확장을 수행한다.

ABSTRACT

Graph Neural Networks (GNN) come in many flavors, but should always be either invariant (permutation of the nodes of the input graph does not affect the output) or equivariant (permutation of the input permutes the output). In this paper, we consider a specific class of invariant and equivariant networks, for which we prove new universality theorems. More precisely, we consider networks with a single hidden layer, obtained by summing channels formed by applying an equivariant linear operator, a pointwise non-linearity and either an invariant or equivariant linear operator. Recently, Maron et al. (2019) showed that by allowing higher-order tensorization inside the network, universal invariant GNNs can be obtained. As a first contribution, we propose an alternative proof of this result, which relies on the Stone-Weierstrass theorem for algebra of real-valued functions. Our main contribution is then an extension of this result to the equivariant case, which appears in many practical applications but has been less studied from a theoretical point of view. The proof relies on a new generalized Stone-Weierstrass theorem for algebra of equivariant functions, which is of independent interest. Finally, unlike many previous settings that consider a fixed number of nodes, our results show that a GNN defined by a single set of parameters can approximate uniformly well a function defined on graphs of varying size.

연구 동기 및 목표

• 단일 은닉층을 가진 불변 및 등가 GNN에 대한 보편 근사 결과를 확장한다.
• 불변에 대한 Stone-Weierstrass 이론을 활용한 대안 증명과 새로운 등가 Stone-Weierstrass 정리를 제공한다.
• 단일 매개변수 집합을 사용하여 서로 다른 크기의 그래프에서 균일한 근사성을 보인다.
• 불변/등가 설정에서 보편성을 달성하기 위해 필요한 매개변수 수와 텐서화의 차원을 특징짓다.

제안 방법

• f(G)=sum_s H_s[ρ(F_s[G]+B_s)]+b 형태의 한 층 GNN을 고려한다. 여기서 F_s는 불변/등가이고 H_s는 불변 또는 등가이다.
• Kronecker-강화 네트워크를 사용하여 연속적 불변 함수의 닫힌 대수(closed subalgebra)를 형성한다.
• 그래프 집합에서 연속적 불변 함수의 조밀한 근사를 입증하기 위해 Stone-Weierstrass 정리를 적용한다.
• 그래프에서 벡터값 출력을 다루기 위해 등가 함수에 대한 일반화된 Stone-Weierstrass 정리를 개발한다.
• 단일 매개변수 집합으로 서로 다른 크기의 그래프에 대해 보편성을 증명하고 텐서화 차원 k_s를 분석한다.
• 네트워크 내부에서의 텐서화가 실용적 보편성에 필수적이며, 텐서화 차원을 증가시키면 실험에서 근사 오차가 감소한다.

실험 결과

연구 질문

• RQ1 단일 매개변수 세트가 서로 다른 크기의 그래프에서 모든 연속적 불변 함수의 근사를 가능하게 하는가?
• RQ2 permutation 대칭을 이용하면서 벡터값 출력을 갖는 등가 GNN으로 보편성을 확장할 수 있는가?
• RQ3 불변 및 등가 경우에 보편성을 달성하기 위해 네트워크 내부에서 필요한 최소 텐서화 차원은 무엇인가?
• RQ4 어떻게 Stone-Weierstrass 이론을 등가적이고 더 높은 차원의 그래프 설정에 적용하는가?
• RQ5 출력이 스칼라가 아닌 그래프 또는 고차 텐서일 때의 한계점은 무엇인가?

주요 결과

• 단일 매개변수 집합을 가진 불변 GNN은 서로 다른 크기의 그래프 컬렉션에서 연속적 불변 함수 공간에서 조밀하다.
• 단일 매개변수 집합을 가진 등가 GNN은 일반화된 Stone-Weierstrass 정리를 통해 연속적 등가 함수 공간에서 조밀하다.
• Kronecker-강화 네트워크를 사용하여 함수의 닫힌 대수를 형성하고 점을 구분하여 밀도 결과를 적용한다.
• 네트워크 내의 더 높은 차원의 텐서화를 통해 실용적 보편성에 중요하며, 텐서화 차원이 증가하면 근사 오차가 줄어든다.
• 최대 n_max까지 서로 다른 노드 수를 가진 그래프들에 대해 같은 매개변수로 균일한 근사가 가능함을 보인다.