[논문 리뷰] LanczosNet: Multi-Scale Deep Graph Convolutional Networks

Renjie Liao, Zhizhen Zhao외 2명|arXiv (Cornell University)|2019. 01. 06.

Advanced Graph Neural Networks참고 문헌 41인용 수 140

한 줄 요약

LanczosNet은 Lanczos 알고리즘을 통해 그래프 라플라시에 대한 저랭크 근사를 구성하여 학습 가능한 스펙트럴 필터를 갖춘 효율적 다중 스케일 그래프 컨볼루션을 가능하게 하고, AdaLanczosNet은 그래프 커널/노드 임베딩 학습을 위해 Lanczos 과정 전반에 역전파한다.

ABSTRACT

We propose the Lanczos network (LanczosNet), which uses the Lanczos algorithm to construct low rank approximations of the graph Laplacian for graph convolution. Relying on the tridiagonal decomposition of the Lanczos algorithm, we not only efficiently exploit multi-scale information via fast approximated computation of matrix power but also design learnable spectral filters. Being fully differentiable, LanczosNet facilitates both graph kernel learning as well as learning node embeddings. We show the connection between our LanczosNet and graph based manifold learning methods, especially the diffusion maps. We benchmark our model against several recent deep graph networks on citation networks and QM8 quantum chemistry dataset. Experimental results show that our model achieves the state-of-the-art performance in most tasks. Code is released at: \url{https://github.com/lrjconan/LanczosNetwork}.

연구 동기 및 목표

• 그래프 컨볼루션 네트워크에서 효과적인 다중 스케일 정보 추출의 동기를 부여한다.
• 비싼 고전력 연산 없이 다중 스케일 그래프 확산을 계산하는 확장 가능한 방법을 제공한다.
• Lanczos 기반 프레임워크 내에서 학습 가능한 스펙트럴 필터를 도입한다.
• Lanczos 과정에 역전파를 통해 그래프 커널이나 노드 임베딩 학습을 가능하게 하는 변형을 제공한다.

제안 방법

• 친화 행렬 S의 저랭크 근사 S ≈ Q T Q^T 를 얻기 위해 Lanczos 알고리즘을 사용한다.
• Lanczos 분해로부터 Ritz 값/벡터 (r_i, v_i)의 함수를 MLP를 통해 학습하여 학습 가능한 스펙트럴 필터링을 가능하게 하는 스펙트럴 필터를 구성한다.
• differentiable 네트워크에서 S의 거듭제곱을 통한 짧은 축척과 학습된 스펙트럴 필터를 통한 긴 축척 구성의 요소를 결합하여 다중 스케일 그래프 컨볼루션을 형성한다.
• 선택적으로 AdaLanczosNet은 Lanczos 단계에 역전파하여 그래프 커널 또는 노드 임베딩을 학습하게 한다.
• 스펙트럴 필터링을 확산 맵 기반 주파수 표현에서 작동하는 것으로 해석하여 LanczosNet과 확산 맵의 관계를 설명한다.

실험 결과

연구 질문

• RQ1 Lanczos 기반 저랭크 Laplacian 근사가 다중 스케일 그래프 정보를 효율적으로 포착할 수 있는가?
• RQ2 Lanczos 근사에서 학습 가능한 스펙트럴 필터가 고정된 스펙트럴 필터에 비해 성능을 향상시킬 수 있는가?
• RQ3 Lanczos 프로세스에 역전파를 수행하는 AdaLanczosNet이 그래프 커널 또는 노드 임베딩 학습에서 실질적인 이득을 주는가?
• RQ4 LanczosNet가 인용 네트워크 및 QM8 같은 표준 벤치마크에서 최첨단 그래프 네트워크와 어떻게 비교되는가?

주요 결과

데이터셋 / 분할	GCN-FP	GGNN	DCNN	ChebyNet	GCN	MPNN	GraphSAGE	GAT	LNet	AdaLNet
Cora Public	74.6 ± 0.7	77.6 ± 1.7	79.7 ± 0.8	78.0 ± 1.2	80.5 ± 0.8	78.0 ± 1.1	74.5 ± 0.8	82.6 ± 0.7	79.5 ± 1.8	80.4 ± 1.1
Cora 3%	71.7 ± 2.4	73.1 ± 2.3	76.7 ± 2.5	62.1 ± 6.7	74.0 ± 2.8	72.0 ± 4.6	64.2 ± 4.0	56.8 ± 7.9	76.3 ± 2.3	77.7 ± 2.4
Cora 1%	59.6 ± 6.5	60.5 ± 7.1	66.4 ± 8.2	44.2 ± 5.6	61.0 ± 7.2	56.7 ± 5.9	49.0 ± 5.8	48.6 ± 8.0	66.1 ± 8.2	67.5 ± 8.7
Cora 0.5%	50.5 ± 6.0	48.2 ± 5.7	59.0 ± 10.7	33.9 ± 5.0	52.9 ± 7.4	46.5 ± 7.5	37.5 ± 5.4	41.4 ± 6.9	58.1 ± 8.2	60.8 ± 9.0
Citeseer Public	61.5 ± 0.9	64.6 ± 1.3	69.4 ± 1.3	70.1 ± 0.8	68.1 ± 1.3	64.0 ± 1.9	67.2 ± 1.0	72.2 ± 0.9	66.2 ± 1.9	68.7 ± 1.0
Citeseer 1%	54.3 ± 4.4	56.0 ± 3.4	62.2 ± 2.5	59.4 ± 5.4	58.3 ± 4.0	54.3 ± 3.5	51.0 ± 5.7	46.5 ± 9.3	61.3 ± 3.9	63.3 ± 1.8
Citeseer 0.5%	43.9 ± 4.2	44.3 ± 3.8	53.1 ± 4.4	45.3 ± 6.6	47.7 ± 4.4	41.8 ± 5.0	33.8 ± 7.0	38.2 ± 7.1	53.2 ± 4.0	53.8 ± 4.7
Citeseer 0.3%	38.4 ± 5.8	36.5 ± 5.1	44.3 ± 5.1	39.3 ± 4.9	39.2 ± 6.3	36.0 ± 6.1	25.7 ± 6.1	30.9 ± 6.9	44.4 ± 4.5	46.7 ± 5.6
Pubmed Public	76.0 ± 0.7	75.8 ± 0.9	76.8 ± 0.8	69.8 ± 1.1	77.8 ± 0.7	75.6 ± 1.0	76.8 ± 0.6	76.7 ± 0.5	78.3 ± 0.3	78.1 ± 0.4
Pubmed 0.1%	70.3 ± 4.7	70.4 ± 4.5	73.1 ± 4.7	55.2 ± 6.8	73.0 ± 5.5	67.3 ± 4.7	65.4 ± 6.2	59.6 ± 9.5	73.4 ± 5.1	72.8 ± 4.6
Pubmed 0.05%	63.2 ± 4.7	63.3 ± 4.0	66.7 ± 5.3	48.2 ± 7.4	64.6 ± 7.5	59.6 ± 4.0	53.0 ± 8.0	50.4 ± 9.7	68.8 ± 5.6	66.0 ± 4.5
Pubmed 0.03%	56.2 ± 7.7	55.8 ± 7.7	60.9 ± 8.2	45.3 ± 4.5	57.9 ± 8.1	53.9 ± 6.9	45.4 ± 5.5	50.9 ± 8.8	60.4 ± 8.6	61.0 ± 8.7

• LanczosNet와 AdaLanczosNet은 9개의 최근 그래프 네트워크 대비 여러 작업에서 최첨단 성능을 달성한다.
• Lanczos 기반 저랭크 근사는 Ritz 값 기반 스펙트럴 필터링을 통해 다중 스케일 정보를 효율적으로 계산할 수 있게 한다.
• Ritz 값에 대한 MLP를 통한 학습 가능한 스펙트럴 필터는 고정 다항 필터보다 모델 용량을 증가시킨다.
• Lanczos 단계에 역전파하는 것은 그래프 커널 및/또는 노드 임베딩 학습을 위한 미분가능한 경로를 제공한다.