[논문 리뷰] A Simple Proof of the Universality of Invariant/Equivariant Graph Neural Networks

Takanori Maehara, Hoang Nt|arXiv (Cornell University)|2019. 10. 09.

Advanced Graph Neural Networks참고 문헌 22인용 수 14

한 줄 요약

이 논문은 새로운 그래프 호모모르피즘 모델을 중간 이론적 구성으로 삼아, 불변성과 동치성 그래프 신경망의 보편성을 단순하고 통합된 증명으로 제시한다. 호모모르피즘 수와 $k$-라벨링된 호모모르피즘 수를 연속 함수 근사기로 활용함으로써, 저자들은 텐서화된 GNN이 어떤 연속 불변 또는 동치 함수라도 보편적으로 근사할 수 있음을 입증하며, 고차원 동치 출력에 대한 열린 문제를 해결한다.

ABSTRACT

We present a simple proof for the universality of invariant and equivariant tensorized graph neural networks. Our approach considers a restricted intermediate hypothetical model named Graph Homomorphism Model to reach the universality conclusions including an open case for higher-order output. We find that our proposed technique not only leads to simple proofs of the universality properties but also gives a natural explanation for the tensorization of the previously studied models. Finally, we give some remarks on the connection between our model and the continuous representation of graphs.

연구 동기 및 목표

• 불변성 및 동치성 그래프 신경망의 보편성에 대한 단순하고 통합된 증명을 확립하는 것.
• Keriven과 Peyré(2019)에서 제기한, $k > 1$ 출력 차원을 가지는 동치 함수에 대해 텐서화된 GNN의 보편성에 관한 열린 문제를 해결하는 것.
• 기존 GNN 모델에서의 텐서화 메커니즘에 대한 자연스러운 설명을 그래프 호모모르피즘 수의 관점에서 제공하는 것.
• 유한 그래프에서의 보편성 결과를 그래프온의 연속적 설정으로 확장하는 것.

제안 방법

• 보편성 증명을 단순화하기 위해 가상의 그래프 호모모르피즘 모델을 중간 이론적 프레임워크로 도입하는 것.
• 가중치가 부여된 인접행렬 $W$에 대해 연속적이고 불변적이며 동치적인 함수로 호모모르피즘 수 $\mathrm{hom}(F,W)$와 $k$-라벨링된 호모모르피즘 수 $\mathrm{hom}_{\vec{x}}(F,W)$를 정의하는 것.
• 유한 선형 조합으로 구성된 이동된 호모모르피즘 수 $\mathrm{hom}(F,W+2I)$가 연속 불변 함수 공간 내에서 조밀한 부분집합을 이룬다는 것을 보여줌으로써 보편성을 입증하는 것.
• 그래프 동형 정리들을 활용해 $k$-라벨링된 호모모르피즘 수를 사용하여 동치 함수로의 일반화를 수행하고, 별개의 점 성질을 검증하는 것.
• 호모모르피즘 수의 유한 선형 조합으로 이루어진 대수에 스톤–바이어슈트라스 정리를 적용하여 연속 함수 공간 내에서의 조밀성을 확립하는 것.
• 이를 바탕으로 이산 호모모르피즘 수를 연속 호모모르피즘 밀도 $t(F,W)$와 $t_{\vec{x}}(F,W)$로 대체하여 그래프온으로의 일반화를 수행하고, 연속 극한에서의 보편성을 증명하는 것.

실험 결과

연구 질문

• RQ1 불변성 및 동치성 그래프 신경망의 보편성에 대해 단순하고 통합된 증명을 구성할 수 있는가?
• RQ2 기존 모델의 텐서화된 GNN 아키텍처는 고차원 출력을 포함한 어떤 연속 불변 또는 동치 함수라도 보편적으로 근사하는 데에 충분한가?
• RQ3 기존 모델의 GNN 레이어에서의 텐서화에 대한 이론적 근거는 무엇인가?
• RQ4 보편성 결과는 유한 그래프에서 연속적인 그래프온 설정으로 확장될 수 있는가?
• RQ5 호모모르피즘 수와 밀도는 그래프 신경망 맥락에서 보편 함수 근사기로 어떻게 작용하는가?

주요 결과

• 이동된 호모모르피즘 수 $\mathrm{hom}(F,W+2I)$의 유한 선형 조합 집합은 가중 그래프 위의 연속 불변 함수 공간 내에서 조밀하다.
• 이동된 $k$-라벨링된 호모모르피즘 수 $\mathrm{hom}_{\vec{x}}(F,W+2I)$의 유한 선형 조합 집합은 연속 동치 함수 공간 내에서 조밀하며, $k > 1$에 대한 열린 문제를 해결한다.
• 그래프 호모모르피즘 모델은 텐서화된 GNN이 호모모르피즘 수 구성에 의해 보편성을 달성할 수 있도록 자연스러운 이론적 다리를 제공한다.
• 보편성 결과는 연속적인 그래프온 설정으로까지 확장된다: 호모모르피즘 밀도 $t(F,W)$의 유한 선형 조합은 연속 불변 그래프온 함수 공간 내에서 조밀하다.
• 그래프온에서의 동치 함수에 대해서는 $k$-라벨링된 호모모르피즘 밀도 $t_{\vec{x}}(F,W)$의 유한 선형 조합이 연속 동치 그래프온 함수 공간 내에서 조밀하다.
• 표준 스톤–바이어슈트라스 정리와 호모모르피즘 수 성질을 활용한 증명 기법은 고차원 출력을 포함한 불변 및 동치 케이스를 통합적으로 다루며, 이를 통합한다.