[논문 리뷰] Convergence and Stability of Graph Convolutional Networks on Large Random Graphs

Nicolas Keriven, Alberto Bietti외 1명|arXiv (Cornell University)|2020. 06. 02.

Opportunistic and Delay-Tolerant NetworksComputer Science인용 수 18

한 줄 요약

이 논문은 연속한 극한 프레임워크를 사용하여 대규모 랜덤 그래프에서 그래프 컨volution 네트워크(GCNs)의 비점근수렴성과 안정성 보장을 수립한다. 잠재 변수와 유사도 커널을 통해 그래프를 모델링함으로써, 평균 차수 ∼ log n 의 비교적 흐린 조건에서도 GCNs가 연속적 대응체로 수렴함을 증명하고, 유클리드 CNN 안정성의 그래프 버전인 변형 기반 안정성 척도를 도입한다.

ABSTRACT

We study properties of Graph Convolutional Networks (GCNs) by analyzing their behavior on standard models of random graphs, where nodes are represented by random latent variables and edges are drawn according to a similarity kernel. This allows us to overcome the difficulties of dealing with discrete notions such as isomorphisms on very large graphs, by considering instead more natural geometric aspects. We first study the convergence of GCNs to their continuous counterpart as the number of nodes grows. Our results are fully non-asymptotic and are valid for relatively sparse graphs with an average degree that grows logarithmically with the number of nodes. We then analyze the stability of GCNs to small deformations of the random graph model. In contrast to previous studies of stability in discrete settings, our continuous setup allows us to provide more intuitive deformation-based metrics for understanding stability, which have proven useful for explaining the success of convolutional representations on Euclidean domains.

연구 동기 및 목표

• 이소모픽이 아닌 큰 그래프에서 GCN의 거동에 대한 이론적 이해 부족 문제를 다루기 위해, 이산적 이소모픽 개념이 무의미해지는 상황에서의 GCN 행동에 대한 이론적 이해를 확보한다.
• 이전의 안정성 분석에서 사용하는 이산적이고 직관적이지 않은 그래프 거리 척도에 의존하는 한계를 극복한다.
• 노드 수에 따라 로그적으로 증가하는 평균 차수를 갖는 비교적 흐린 랜덤 그래프에서 GCNs의 비점근수렴 한계를 제공한다.
• 유클리드 신호 처리에서 사용하는 것과 유사한 직관적이고 기하학적인 변형 척도를 정의하기 위해 연속적 프레임워크를 수립한다.
• 이산적 그래프 신호 거리와 연속적 극한에서의 워샤르-유사 척도 간의 관계를 규명함으로써, 새로운 이론적 안정성 통찰을 가능하게 한다.

제안 방법

• 노드들이 분포에서 i.i.d.로 추출되고, 간선들이 유사도 커널을 통해 생성되는 잠재 공간 표현을 사용하여 대규모 랜덤 그래프를 모델링한다.
• 그래프 라플라시안을 잠재 공간 위의 함수에 작용하는 적분 연산자로 대체하여 이산 GCNs의 연속적 대응체를 정의한다.
• Schur의 정리를 사용하여 GCN 레이어의 연산자 노름을 유계로 제한함으로써, 편향에 대한 안정성을 확보한다.
• 일반화된 Hoeffding의 부등식과 스펙트럼 농도 결과를 적용하여 경험적 그래프 연산자와 기대값 간의 편차를 통제한다.
• 기본 그래프 모델의 소규모 변형에 대한 안정성을 측정하기 위해 연속적 그래프 신호 간의 워샤르-유사 척도를 도입한다.
• 그래프 라플라시안 연산자를 사용하여 레이어 간 차이의 전파를 분석함으로써 GCN 레이어에 대한 재귀적 리프시츠 경계를 수립한다.

실험 결과

연구 질문

• RQ1 노드 수가 증가함에 따라 랜덤 그래프에서 GCNs가 어떻게 연속적 극한으로 수렴하는가, 특히 흐린 조건에서 어떻게 되는가?
• RQ2 이산적 그래프 거리가 아닌 연속적이고 기하학적인 변형 척도를 사용하여 GCNs의 구조적 편향에 대한 안정성을 체계화할 수 있는가?
• RQ3 평균 차수 ∼ log n 인 비교적 흐린 랜덤 그래프에서 GCNs의 비점근수렴 한계는 무엇인가?
• RQ4 연속적 극한 프레임워크는 이산적 그래프 신호 거리와 연속적 표현 공간의 척도 간에 어떻게 관련되는가?
• RQ5 GCNs의 이론적 안정성은 유클리드 도메인에서 비유클리드 그래프 구조로 일반화될 수 있는가?

주요 결과

• 논문은 평균 차수가 노드 수에 따라 로그적으로 증가하는 비교적 흐린 랜덤 그래프 모델에서 GCNs가 연속적 대응체로 비점근수렴함을 수립한다.
• 유사도 커널이 매끄럽거나 0에서 멀리 떨어져 있어야 한다는 조건 없이도 수렴 결과가 성립하여, SBMs와 ε-그래프와 같은 모델에 대한 적용 범위를 넓힌다.
• 소규모 그래프 변형에 대한 안정성은 연속적 그래프 신호 표현 간의 워샤르-유사 척도를 통해 기하학적 해석이 가능한 방식으로 특징지어지며, CNN과 유사한 기하학적 의미를 부여한다.
• 순열에 대해 등변성인 GCNs의 경우, 이산적 그래프 신호 거리와 연속적 극한에서의 워샤르 거리 간의 관계를 규명하였으며, 이는 이전 문헌에서 관찰되지 않은 새로운 연결이다.
• 정규화된 라플라시안에 대한 스펙트럼 농도 한계를 사용하여 경험적 및 기대값 그래프 연산자 간의 편차를 통제하며, 간선 확률에 대한 약한 가정 하에 높은 확률로 성립한다.
• 분석을 통해 GCN 일반화 오차와 안정성에 대한 명시적이고 유한 샘플 한계를 도출하였으며, 그래프가 밀도가 높지 않은 경우에도 유효하여 이전의 점근적 또는 밀도가 높은 그래프에 국한된 분석의 한계를 극복한다.