[논문 리뷰] Graphon Neural Networks and the Transferability of Graph Neural Networks

Luana Ruiz, Luiz F. O. Chamon외 1명|arXiv (Cornell University)|2020. 06. 05.

Advanced Graph Neural Networks참고 문헌 31인용 수 43

한 줄 요약

논문은 그래프온 신경망(WNN)을 GNN의 극한 객체로 정의하고, 같은 그래프온에서 생성된 결정 그래프들 간 GNN의 전달 가능성을 보이는 경계(bound)를 증명하며, 밴드리밋 필터 하에서 오차가 n^{-1/2}로 감소함을 보이고, 전달 가능성과 식별가능성 간의 트레이드오프를 드러낸다.

ABSTRACT

Graph neural networks (GNNs) rely on graph convolutions to extract local features from network data. These graph convolutions combine information from adjacent nodes using coefficients that are shared across all nodes. Since these coefficients are shared and do not depend on the graph, one can envision using the same coefficients to define a GNN on another graph. This motivates analyzing the transferability of GNNs across graphs. In this paper we introduce graphon NNs as limit objects of GNNs and prove a bound on the difference between the output of a GNN and its limit graphon-NN. This bound vanishes with growing number of nodes if the graph convolutional filters are bandlimited in the graph spectral domain. This result establishes a tradeoff between discriminability and transferability of GNNs.

연구 동기 및 목표

• 비슷한 구조를 가지되 서로 다른 크기의 그래프들 간에 GNN의 전이 학습을 촉진한다.
• 그래프온 기반의 극한 객체(WNNs)를 도입하여 GNN 전달 가능성을 연구한다.
• 같은 그래프온에서 얻은 서로 다른 그래프에서의 GNN 출력 차이에 대한 엄밀한 경계를 확립한다.
• 필터 대역제한이 전달 가능성과 식별가능성의 트레이드오프에 미치는 영향을 강조한다.
• 그래프 변형들 간에 GNN이 일반화될 수 있는 시점에 대한 이론적 및 수치적 통찰을 제공한다.

제안 방법

• 그래프 쉬프트 연산자와 스펙트럴 표현을 통해 그래프 컨볼루션을 정의한다.
• 그래프온을 극한 객체로 도입하고 그래프온 쉬프트 연산자(WSO)를 갖는 그래프온 데이터로 다룬다.
• 그래프온 컨볼루션과 비선형 활성화를 사용하여 그래프온 신경망(WNNs)를 정식으로 형식화한다.
• 그래프를 그래프온으로 매핑하고 신호를 그래프온 신호로 매핑함으로써 WNNs를 GNN의 결정적 생성 모델로 보여주고 그 반대도 가능함을 보인다.
• 그래프온으로부터 구성된 결정적 그래프에서 WNN 출력과 GNN 출력 사이의 근사 경계(정리 1)를 도출한다.
• 같은 그래프온에서 뽑힌 서로 다른 크기의 그래프들 간의 GNN 전달 가능성을 특성화한다(정리 2).

실험 결과

연구 질문

• RQ1 특정 크기의 그래프에서 학습된 GNN이 같은 그래프온 계열의 다른 그래프들로 전달되어 성능 보장을 얻을 수 있는가?
• RQ2 그래프온 구조와 필터 대역폭이 GNN의 전달 가능성과 식별가능성에 어떤 영향을 미치는가?
• RQ3 그래프온에서 샘플링된 결정적 그래프의 그래프 크기가 커질 때 전달 오차의 점근적 거동은 어떠한가?

주요 결과

• GNN은 같은 그래프온에서 얻은 결정적 그래프들 간에 전달 가능하며, 출력 차이는 그래프 크기가 커질수록 감소하는 항에 의해 바운드된다.
• LF^{L-1} sqrt(A1) (A2 + pi nc / delta_c) 의 계수와 (n1^{-1/2} + n2^{-1/2})를 곱한 형태로 전달 가능 경계가 스케일링된다.
• 고정된 오차 항은 그래프온 신호의 변화성 A3에 의존하며 또한 n^{-1/2}로 감소한다.
• 트레이드오프가 있다: 더 작은 전달 대역(n_c)은 더 나은 전달 가능성을 주지만 식별 가능성이 낮아지고 그 반대도 마찬가지이다.
• WNNs는 GNN의 생성 모델을 제공하여 그래프 구조를 학습 가능한 아키텍처 매개변수로 보게 해주며, 결과는 그래프온으로부터 얻은 결정적 그래프에 대해 성립한다.
• MovieLens와 Cora에 대한 수치 결과는 전달 가능성 경계를 실무에서 보여주며 그래프 크기가 커질수록 출력 차이가 감소함을 보인다.