[논문 리뷰] Directional Graph Networks

Dominique Beaini, Saro Passaro외 4명|arXiv (Cornell University)|2020. 10. 06.

Graph Theory and Algorithms참고 문헌 42인용 수 10

한 줄 요약

이 논문은 방향성 그래프 네트워크(DGNs)를 소개한다. DGNs는 그래프 라플라시안 고유벡터를 사용하여 전역적으로 일관된 방향성 흐름을 정의함으로써 이방향 메시지 전파를 가능하게 하는 새로운 GNN 프레임워크이다. 이러한 방향성 필드를 따라 노드 메시지를 투영함으로써 DGNs는 우수한 표현력을 달성한다. 이는 1-WL 테스트에서 표준 GNNs보다 더 구분력이 뛰어나며, 과도한 스무딩을 감소시켜 ZINC 및 CIFAR10을 포함한 벤치마크 데이터셋에서 8–32%의 오차 감소를 이끌어내어 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The lack of anisotropic kernels in graph neural networks (GNNs) strongly limits their expressiveness, contributing to well-known issues such as over-smoothing. To overcome this limitation, we propose the first globally consistent anisotropic kernels for GNNs, allowing for graph convolutions that are defined according to topologicaly-derived directional flows. First, by defining a vector field in the graph, we develop a method of applying directional derivatives and smoothing by projecting node-specific messages into the field. Then, we propose the use of the Laplacian eigenvectors as such vector field. We show that the method generalizes CNNs on an $n$-dimensional grid and is provably more discriminative than standard GNNs regarding the Weisfeiler-Lehman 1-WL test. We evaluate our method on different standard benchmarks and see a relative error reduction of 8% on the CIFAR10 graph dataset and 11% to 32% on the molecular ZINC dataset, and a relative increase in precision of 1.6% on the MolPCBA dataset. An important outcome of this work is that it enables graph networks to embed directions in an unsupervised way, thus allowing a better representation of the anisotropic features in different physical or biological problems.

연구 동기 및 목표

• 표준 GNNs에서의 등방성(대칭) 커널의 한계를 해결하기 위해, 이는 표현력 제한과 과도한 스무딩을 초래한다.
• 임의의 그래프에서 방향성 흐름을 전역적으로 일관되게 정의하는 방법을 개발하기 위해, 이미지의 수평/수직 방향과 유사하게 정의한다.
• 엣지 특징이나 局부적 구조에 의존하지 않고 그래프에서 방향성 메시지 전파 및 필터링을 가능하게 하기 위해.
• DGNs가 1-WL 테스트에서 표준 GNNs보다 더 표현력이 뛰어나다는 것을 증명하기 위해.
• 표준 벤치마크에서 DGNs를 실증적으로 검증하여 성능 향상과 과도한 스무딩에 대한 강건성을 입증하기 위해.

제안 방법

• 그래프 라플라시안의 저주수 고유벡터의 기울기를 사용하여 방향성 흐름을 정의함으로써, 전역적 구조와 확산 방향을 포착한다.
• 방향성 도함수 또는 스무딩을 사용하여 노드 메시지를 이러한 방향성 필드에 투영함으로써 이방향 집계를 가능하게 한다.
• 그래프 라플라시안의 고유벡터를 벡터장으로 사용하여 격자 그래프에서의 수평 및 수직 흐름을 일반화한다.
• 고유벡터 방향을 따라의 산책을 조합하여 방향성 컨볼루션 커널을 구성함으로써, 격자에서의 CNN 커널을 일반화한다.
• 수신 노드의 벡터장과의 정렬도에 따라 이웃 기여도를 가중하는 방향성 집계기법을 구현한다.
• 고유벡터 기울기를 사용하여 전체 그래프에 걸쳐 일관된 비지도적 방향성 편향을 정의한다.

실험 결과

연구 질문

• RQ1 오직 그래프 구조만을 사용하여 등방성 그래프 컨볼루션을 전역적으로 일관되게 정의할 수 있는가?
• RQ2 GNNs에서의 방향성 메시지 전파가 1-WL 테스트를 초월한 표현력을 향상시킬 수 있는가?
• RQ3 라플라시안 고유벡터에서 유도된 방향성 흐름이 격자 구조 그래프에서 CNN 유사 방향성 필터링을 일반화할 수 있는가?
• RQ4 방향성 메시지 전파가 GNNs의 과도한 스무딩을 완화시킬 수 있는가?
• RQ5 DGNs가 엣지 특징에 의존하지 않고도 표준 그래프 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DGNs는 n차원 격자에서 반경 R의 모든 컨볼루션 커널을 일반화하여, 구조화된 환경에서 CNN을 모방할 수 있음을 증명한다.
• DGNs는 1-WL 테스트에서 표준 GNNs보다 증명된 바에 따라 더 뛰어난 표현력을 지닌다. 이는 1-WL 테스트에서 구분이 불가능한 그래프들을 구분할 수 있음을 보여준다.
• CIFAR10 그래프 데이터셋에서, DGNs는 기준 GNNs 대비 상대 오차 감소율 8%를 달성한다.
• 분자 ZINC 데이터셋에서, DGNs는 다양한 아키텍처와 설정에서 상대 오차 감소율 11–32%를 보여준다.
• MolPCBA 데이터셋에서, DGNs는 정밀도가 1.6% 상승하여 어려운 분자 성질 예측에서 향상된 성능을 입증한다.
• 방향성 도함수 집계기법이 성능 향상의 주요 기여 요소이며, 이는 그래프에서 방향성 및 고주파 신호를 효과적으로 포착하고 있음을 시사한다.