[논문 리뷰] DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification

Jun Wu, Jingrui He외 1명|arXiv (Cornell University)|2019. 06. 05.

Advanced Graph Neural Networks참고 문헌 28인용 수 14

한 줄 요약

DEMO-Net는 다중임무 학습을 통해 노드의 차수에 민감한, 시드 기반이며 순서에 영향을 받지 않는 그래프 컨볼루션을 명시적으로 모델링하는 차수별 그래프 신경망이다. degree-specific weight sharing 또는 해싱 함수를 통해 차수별 구조 정보를 유지하고, 새로운 힐버트 커널 기반 그래프 수준 풀링 기법을 도입함으로써 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Graph data widely exist in many high-impact applications. Inspired by the success of deep learning in grid-structured data, graph neural network models have been proposed to learn powerful node-level or graph-level representation. However, most of the existing graph neural networks suffer from the following limitations: (1) there is limited analysis regarding the graph convolution properties, such as seed-oriented, degree-aware and order-free; (2) the node's degree-specific graph structure is not explicitly expressed in graph convolution for distinguishing structure-aware node neighborhoods; (3) the theoretical explanation regarding the graph-level pooling schemes is unclear. To address these problems, we propose a generic degree-specific graph neural network named DEMO-Net motivated by Weisfeiler-Lehman graph isomorphism test that recursively identifies 1-hop neighborhood structures. In order to explicitly capture the graph topology integrated with node attributes, we argue that graph convolution should have three properties: seed-oriented, degree-aware, order-free. To this end, we propose multi-task graph convolution where each task represents node representation learning for nodes with a specific degree value, thus leading to preserving the degree-specific graph structure. In particular, we design two multi-task learning methods: degree-specific weight and hashing functions for graph convolution. In addition, we propose a novel graph-level pooling/readout scheme for learning graph representation provably lying in a degree-specific Hilbert kernel space. The experimental results on several node and graph classification benchmark data sets demonstrate the effectiveness and efficiency of our proposed DEMO-Net over state-of-the-art graph neural network models.

연구 동기 및 목표

• 기존 그래프 신경망이 노드 및 그래프 표현에서 차수별 구조 정보를 포착하는 데 한계를 보이고 있는 문제를 해결하기 위해.
• Weisfeiler-Lehman 동형성 테스트에 영감을 받아, 시드 기반, 차수 인식, 순서에 영향을 받지 않는 세 가지 핵심 성질을 갖춘 그래프 컨볼루션을 정식화하기 위해.
• 각 작업이 특정 노드 차수에 대응하는 다중임무 학습 프레임워크를 설계하여 구조적 분류 성능을 향상시키기 위해.
• 이론적으로 탄탄한 그래프 수준 풀링 메커니즘을 개발하여 표현이 차수별 힐버트 커널 공간에 위치하도록 보장하기 위해.
• 노드 및 그래프 분류 벤치마크에서 DEMO-Net의 효과성과 효율성을 경험적으로 검증하기 위해.

제안 방법

• 각 작업가 특정 차수 값을 가진 노드에 할애된 다중임무 학습 문제로 그래프 컨볼루션을 정식화한다.
• 두 가지 변형을 도입한다: 차수별 가중치 공유와 차수별 해싱 함수를 통해 각 차수별로 컨볼루션을 매개변수화한다.
• 노드 표현을 차수별 힐버트 커널 공간으로 투영하는 새로운 그래프 수준 풀링 기법을 도입하여 이론적 일관성을 확보한다.
• Weisfeiler-Lehman 테스트에 영감을 받은 재귀적 이웃 집합 집약을 통해 국소적 위상 구조에 기반해 노드 표현을 반복적으로 개선한다.
• 노드 및 그래프 분류 작업 모두에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드 학습을 수행한다.
• 교수학습 및 비지도 사전학습 설정을 모두 지원하며, 풀링 변형에 대한 분석(ablation)을 수행한다.

실험 결과

연구 질문

• RQ1 동일한 차수를 가진 노드들 간의 구조적 차이를 유지함으로써 차수별 그래프 컨볼루션은 노드 표현 학습을 향상시킬 수 있는가?
• RQ2 그래프 컨볼루션에 차수 인식 기능을 통합할 경우 이웃 구조의 분류 성능에 어떤 영향을 미치는가?
• RQ3 새로운 그래프 수준 풀링 메커니즘이 그래프 표현을 차수별 힐버트 커널 공간에 증명 가능하게 매핑할 수 있는가?
• RQ4 DEMO-Net은 표준 노드 및 그래프 분류 벤치마크에서 최신 기술 수준(SOTA) GNN 및 그래프 커널 방법을 초월하는가?
• RQ5 DEMO-Net의 계산 효율성은 그래프 크기와 고유한 차수의 수에 따라 어떻게 스케일링되는가?

주요 결과

• DEMO-Net (weight)는 MUTAG에서 81.4%의 정확도를 기록하여 DeepWL, DCNN, PATCHY-SAN, DIFFPOOL를 포함한 모든 베이스라인 메서드를 능가한다.
• ENZYMES에서는 DEMO-Net (weight)가 27.2%의 정확도를 달성하여 다음으로 우수한 메서드(DIFFPOOL, 18.4%)를 뛰어넘었다.
• 차수별 풀링 기법은 모든 데이터셋에서 평균 풀링 기반 베이스라인보다 성능 향상을 일관되게 보이며, 그 효과를 확인한다.
• DEMO-Net (hash)는 MUTAG에서 77.1%의 정확도와 ENZYMES에서 25.1%의 정확도를 기록하여 낮은 파라미터 복잡도로도 뛰어난 일반화 성능을 입증했다.
• 에포크당 벽시계 시간은 노드 수에 대해 선형적으로 증가하며, 노드 분류 작업에서 GAT보다 상당히 더 효율적이다.
• 해싱 변형의 경우 시간 복잡도는 O(nFF′ + mF′)이며, 가중치 변형의 경우 O(T(nFF′ + mF′))이다. T ≪ n 및 T ≪ m일 경우 실질적으로 선형 복잡도를 가진다.