[논문 리뷰] What graph neural networks cannot learn: depth vs width

Andreas Loukas|arXiv (Cornell University)|2019. 07. 06.

Advanced Graph Neural Networks참고 문헌 54인용 수 23

한 줄 요약

이 논문은 메시지 전달 그래프 신경망(GNN)이 충분한 깊이, 너비, 노드 속성 표현력 및 레이어 용량을 갖추면 튜링 완전성이 되며, 그래프 크기의 다항식 경계를 초월하는 깊이와 너비의 곱이 충족되지 않는 한 순환 검출, 최단 경로, 최소 정점 커버와 같은 기본적인 그래프 문제를 해결할 수 없다는 것을 입증한다. 주요 기여는 분산 계산 결과를 재사용하여 GNN의 깊이와 너비가 제한될 경우 식별 능력이著しく 떨어지는 것을 증명하는 새로운 하한 기법을 제시한 것이다.

ABSTRACT

This paper studies the expressive power of graph neural networks falling within the message-passing framework (GNNmp). Two results are presented. First, GNNmp are shown to be Turing universal under sufficient conditions on their depth, width, node attributes, and layer expressiveness. Second, it is discovered that GNNmp can lose a significant portion of their power when their depth and width is restricted. The proposed impossibility statements stem from a new technique that enables the repurposing of seminal results from distributed computing and leads to lower bounds for an array of decision, optimization, and estimation problems involving graphs. Strikingly, several of these problems are deemed impossible unless the product of a GNNmp's depth and width exceeds a polynomial of the graph size; this dependence remains significant even for tasks that appear simple or when considering approximation.

연구 동기 및 목표

• 메시지 전달 GNN의 이론적 한계가 복잡한 그래프 이론적 함수를 학습하는 데서 어떻게 작용하는지 규명하는 것.
• GNN이 어떤 조건에서 튜링 완전성을 확보하여 그래프에서 어떤 계산 가능한 함수라도 계산할 수 있는지 규명하는 것.
• 깊이와 너비를 제한했을 때 GNN이 그래프의 결정, 최적화 및 추정 문제를 해결하는 데 얼마나 영향을 받는지 분석하는 것.
• 다양한 그래프 문제를 해결하기 위해 필요한 깊이-너비 곱(dw)의 하한을 설정하여, 심지어 간단한 작업조차도 초항수 용량이 필요하다는 점을 보여주는 것.
• 노드 속성이 GNN의 표현 능력에 어떻게 영향을 미치는지, 특히 노드를 구분하고 그래프 간 일반화하는 데서 어떤 역할을 하는지 조사하는 것.

제안 방법

• 분산 계산 분야의 유명한 결과, 특히 LOCAL 모델을 재활용하여 GNN 용량에 대한 하한을 유도하는 것.
• 충분한 조건 하에서 GNN과 LOCAL 모델 간의 등가성을 확립하여, 깊이, 너비, 노드 유일성, 레이어 표현력이 충분할 경우 튜링 완전성을 증명하는 것.
• 정보 전파 반경을 분석함으로써 불가능성 결과를 도출하고, 이를 분산 계산 하한과 연결하는 것.
• 새로운 기법을 사용하여 분산 알고리즘의 하한을 GNN의 깊이와 너비 제약으로 번역하여 특정 그래프 문제를 해결하기 위한 조건을 설정하는 것.
• 제어된 실험을 통해 4순환 분류 문제에서 이론적 예측을 실증적으로 검증하며, 깊이, 너비, 노드 속성 유형을 다양하게 변화시킨다.
• 비교적 비용 기반 용량으로 깊이와 너비를 정규화하여 테스트 정확도의 단계 전이를 드러내며, 용량이 충분할 경우 깊이와 너비가 상호 교환 가능함을 보여주는 것.

실험 결과

연구 질문

• RQ1 메시지 전달 GNN이 튜링 기계가 계산할 수 있는 어떤 함수라도 계산할 수 있는 조건은 무엇인가?
• RQ2 순환 검출이나 최단 경로와 같은 기본적인 그래프 문제를 해결하기 위해 GNN이 필요한 최소 깊이-너비 곱(dw)은 얼마인가?
• RQ3 고유한 ID와 같은 분류용 노드 속성을 사용할 경우, GNN의 그래프 간 일반화 능력과 이전에 불가능했던 작업을 해결할 능력에 어떤 영향을 미치는가?
• RQ4 깊이-너비 곱이 임계 임계값을 초월할 때 GNN 성능에 단계 전이가 나타나는가? 그리고 이 임계값은 개별 깊이와 너비 값과 독립적인가?
• RQ5 고정된 용량(dw)을 가정할 때, 성능에 영향을 주지 않고 깊이와 너비를 얼마나 교환할 수 있는가?

주요 결과

• GNN은 충분한 깊이, 너비, 노드 속성 표현력 및 레이어 용량을 갖추면 튜링 완전성이 되어 그래프에서 어떤 계산 가능한 함수라도 계산할 수 있다.
• 홀수 길이 순환의 순환 검출 문제에서는 $ dw = \tilde{\Omega}(n / \log n) $ 가 필요하며, 이는 그래프 크기에 강한 의존성을 보임을 시사한다.
• 최소 정점 커버나 최대 독립 집합과 같은 문제에서는 너비가 일정할 경우 $ dw = \tilde{\Omega}(n^2 / \log^2 n) $ 가 필요하여 심각한 용량 장벽이 있음을 보여준다.
• 직경의 $ \frac{3}{2} $-근사 문제조차도 $ dw = \tilde{\Omega}(\sqrt{n} / \log n) $ 가 필요하여, 근사화가 필요한 용량을 줄이지 못함을 강조한다.
• 실증 결과는 테스트 정확도가 $ dw $와 강하게 상관되며, 임계 용량 임계값을 초과하면 급격한 단계 전이가 발생함을 확인한다. 이로 인해 $ dw < \text{임계값} $ 인 경우 깊이 또는 너비 분포에 관계없이 실패한다.
• 고유한 노드 ID를 가진 GNN은 $ n \leq 16 $ 인 4순환 분류에서 100%의 테스트 정확도를 달성하지만, $ n = 40 $ 일 때는 가장 강력한 아키텍처를 사용해도 정확도가 80% 이하로 떨어지며, 이는 이론적 한계를 확인한다.