[논문 리뷰] Natural Graph Networks

Pim de Haan, Taco Cohen외 1명|arXiv (Cornell University)|2020. 07. 16.

Advanced Graph Neural Networks참고 문헌 35인용 수 29

한 줄 요약

이 논문은 순열 동치성 대신 더 넓은 개념인 자연성(naturality)으로 일반화된 자연 그래프 네트워크(Natural Graph Networks, NGNs)를 소개한다. 이는 더 유연하고 표현력 있는 모델을 가능하게 하며, 국소적으로 동치성 있는 커널을 메시지 전파 방식으로 파arameter화한 메시지 네트워크를 사용함으로써 그래프 분류 벤치마크에서 경쟁력 있는 성능을 달성하면서도 확장성과 노드 재라벨링에 대한 불변성을 유지한다.

ABSTRACT

A key requirement for graph neural networks is that they must process a graph in a way that does not depend on how the graph is described. Traditionally this has been taken to mean that a graph network must be equivariant to node permutations. Here we show that instead of equivariance, the more general concept of naturality is sufficient for a graph network to be well-defined, opening up a larger class of graph networks. We define global and local natural graph networks, the latter of which are as scalable as conventional message passing graph neural networks while being more flexible. We give one practical instantiation of a natural network on graphs which uses an equivariant message network parameterization, yielding good performance on several benchmarks.

연구 동기 및 목표

• 메시지 전파 GNN의 제한점인 순열 동치성에 의한 제약과 복잡한 그래프에서의 표현력 부족 문제를 해결하기 위해.
• 임의의 노드 재라벨링에 대해 불변인 더 일반적이고 유연한 그래프 신경망 프레임워크를 개발하기 위해.
• 자연성과 범주론 개념을 활용하여 국소적으로 동치성 있는 메시지 전파를 가능하게 하여 확장성을 확보하기 위해.
• 국소적으로 동치성 있는 커널을 파arameter화하기 위해 동치성 있는 메시지 네트워크를 사용한 실용적 자연 그래프 네트워크의 설계를 위해.
• 메시지 전파 아키텍처를 갖춘 자연 그래프 네트워크가 표준 그래프 분류 벤치마크에서 경쟁 가능한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 범주론에서의 자연성 개념을 사용하여 그래프 네트워크를 정의하고, 엄격한 동치성 대신 이sovorphism 재라벨링에 대한 더 일반적인 불변성으로 대체한다.
• 전역적이고 국소적인 자연 그래프 네트워크를 도입하며, 국소 NGN은 국소 이sovorphism에 의해 제약을 받는 커널을 사용한 메시지 전파를 수행한다.
• 국소 그래프 구조를 처리하는 동치성 있는 메시지 네트워크를 사용하여 메시지 전파 커널을 파arameter화한다.
• 노드 재라벨링 하에서 메시지 네트워크의 동치성과 커널 제약 조건이 일치하도록 하여 보편 근사성을 확보한다.
• 기존의 동치성 방법이 저대칭성으로 인해 실패하는 불규칙한 그래프(예: 지식 그래프)에 이 프레임워크를 적용한다.
• 고정된 아키텍처(GCN-2)를 사용하여 표준 그래프 분류 벤치마크에서 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 범주론에서의 자연성 개념을 사용하여 순열 동치성보다 더 일반적이고 표현력 있는 그래프 신경망 클래스를 정의할 수 있는가?
• RQ2 국소 이sovorphism에 대해 불변이면서도 확장성 손실 없이 국소 메시지 전파를 어떻게 구현할 수 있는가?
• RQ3 메시지 네트워크를 사용하여 커널을 파arameter화할 수 있는가? 이는 동치성을 유지하고 보편 근사성을 가능하게 하는가?
• RQ4 메시지 전파 아키텍처를 갖춘 자연 그래프 네트워크가 표준 그래프 벤치마크에서 경쟁 가능한 성능을 달성하는가?
• RQ5 자연 그래프 네트워크의 성능는 전역 동치성 모델과 표준 메시지 전파 GNN보다 어떻게 비교되는가?

주요 결과

• 제안된 자연 그래프 네트워크(NGN) 모델은 NCI109 데이터셋에서 최상의 성능을 기록하여 모든 테스트 방법 중 1위를 차지했다.
• IMDB-B 및 IMDB-M 데이터셋에서 NGN 모델은 2위를 기록했으며, GIN 및 PPGN를 포함한 대부분의 베이스라인 방법을 초월했다.
• NCI109에서 모델은 83.00% ± 1.89의 정확도를 기록했으며, PPGN v2와 같은 최고 성능의 전역 동치성 모델을 뛰어넘었다.
• MUTAG에서 모델은 89.39% ± 1.60의 정확도를 기록했으며, 5위를 기록했지만 많은 경쟁자들보다 훨씬 낮은 분산을 보였다.
• NGN 모델는 PPGN와 같은 전역 동치성 방법과 경쟁 가능한 성능를 기록했으며, 메시지 전파 GNN의 확장성도 유지했다.
• 부록 B의 실증 결과는 모델의 표현력과 합리적인 런타임 비용을 확인하여 실용적 타당성을 뒷받침한다.