[논문 리뷰] Fundamental Limits of Deep Graph Convolutional Networks

Abram Magner, Mayank Baranwal외 1명|arXiv (Cornell University)|2019. 10. 28.

Advanced Graph Neural Networks참고 문헌 34인용 수 5

한 줄 요약

이 논문은 그래폰으로 매개변수화된 다양한 무작위 그래프 모델을 구분하는 데 있어 딥 그래프 컨volution 네트워크(GCNs)의 능력에 대한 기본 이론적 한계를 규명한다. 비선형 활성화를 갖는 GCNs는 그래프 크기의 로그 단위로 깊이가 증가할 경우, 특정하게 분리된 그래폰을 구분할 수 없으며, 이는 도수 프로파일 유사성 특성 때문이며, 이 범위 외부에서는 더 간단한 아키텍처로도 충분하다. 실증 결과는 실제로 구분 불가능한 그래프 분포가 발생함을 확인한다.

ABSTRACT

Graph convolutional networks (GCNs) are a widely used method for graph representation learning. To elucidate the capabilities and limitations of GCNs, we investigate their power, as a function of their number of layers, to distinguish between different random graph models (corresponding to different class-conditional distributions in a classification problem) on the basis of the embeddings of their sample graphs. In particular, the graph models that we consider arise from graphons, which are the most general possible parameterizations of infinite exchangeable graph models and which are the central objects of study in the theory of dense graph limits. We give a precise characterization of the set of pairs of graphons that are indistinguishable by a GCN with nonlinear activation functions coming from a certain broad class if its depth is at least logarithmic in the size of the sample graph. This characterization is in terms of a degree profile closeness property. Outside this class, a very simple GCN architecture suffices for distinguishability. We then exhibit a concrete, infinite class of graphons arising from stochastic block models that are well-separated in terms of cut distance and are indistinguishable by a GCN. These results theoretically match empirical observations of several prior works. To prove our results, we exploit a connection to random walks on graphs. Finally, we give empirical results on synthetic and real graph classification datasets, indicating that indistinguishable graph distributions arise in practice.

연구 동기 및 목표

• GCN이 그래폰으로 매개변수화된 다양한 무작위 그래프 모델을 이론적으로 분석하여 그 구분 능력을 분석하는 것.
• 층 수와 비선형성의 유무가 GCN의 구분 능력에 미치는 영향을 조사하는 것.
• GCN이 이론적으로 잠재력을 지녔음에도 불구하고 그래폰을 구분하지 못하는 조건을 특정하는 것.
• GCN의 행동을 그래프 상의 랜덤 워크 혼합 시간과 도수 프로파일 성질과 연결하는 것.
• 합성 및 실제 그래프 데이터 세트에 대한 실증 결과를 통해 이론적 발견을 검증하는 것.

제안 방법

• 무한 이행가능한 무작위 그래프 모델의 가장 일반적인 매개변수화로 그래폰을 사용하여, 조밀한 그래프 근사에서 그래프 분포를 표현한다.
• GCN의 행동을 그래프 상의 랜덤 워크와 연결하여, 노드 특성의 전파를 마코프 과정으로 모델링한다.
• 두 그래폰에 대한 GCN 추론 결과 분포의 구분 가능성 정도를 측정하기 위해 총 변동 거리(total variation distance)를 적용한다.
• 랜덤 워크의 혼합 시간 분석을 통해 무한층 근사에 수렴하기 위해 필요한 층 수를 경계한다.
• GCN이 그래폰을 구분하지 못하는 데 핵심이 되는 조건으로 도수 프로파일 유사성 특성을 도입한다.
• 커플링 추론과 농도 부등식을 사용하여 그래폰을 구분하는 데 실패할 확률에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 비선형 활성화를 갖는 깊은 GCN이 쌍방향 거리(cut distance)로 잘 분리된 두 그래폰을 구분하지 못하는 조건은 무엇인가?
• RQ2 GCN의 깊이가 기저 랜덤 워크의 혼합 시간과 관련하여 그래폰을 구분하는 데 미치는 영향은 어떠한가?
• RQ3 그래프의 도수 프로파일 구조가 GCN의 구분 능력에 미치는 역할은 무엇인가?
• RQ4 충분히 깊고 비선형성이 있는 GCN이 특별한 예외 클래스에 속하지 않는 모든 그래폰 쌍을 신뢰성 있게 구분할 수 있는가?
• RQ5 실제 그래프 분류에서 GCN의 한계를 관찰한 결과가 이론적 분석과 어느 정도 일치하는가?

주요 결과

• 비선형 활성화를 갖는 GCN는 노드 수의 로그 단위로 깊이가 증가할 경우, 도수 프로파일 유사성 특성 때문에 특정한 그래폰 쌍을 구분할 수 없다.
• 도수 프로파일 조건에 의해 특정된 예외 클래스에 속하지 않는 그래폰의 경우, 매우 단순한 GCN 아키텍처로도 충분히 구분 가능하다.
• 실제로 잘 분리된 컷 거리에서 분리되어 있지만 도수 프로파일 유사성 때문에 GCN에 의해 구분 불가능한 스토케스틱 블록 모델 그래폰의 무한한 구체적 클래스가 존재한다.
• 이러한 두 그래폰에 대해 GCN이 학습한 출력 분포 간의 총 변동 거리는 1에서 멀리 떨어져 있어, 분류의 최적 오류 확률에 비현실적인 하한값이 존재함을 의미한다.
• 합성 및 실제 그래프 데이터 세트에 대한 실증 결과는 실제로 구분 불가능한 그래프 분포가 발생함을 확인하여 이론적 발견을 검증한다.
• 결과적으로 임bedding 차원을 늘리는 것이 그래폰 구분 성능 향상에 기여할 수 있음을 시사하지만, 이는 향후 추가 연구가 필요하다.