[논문 리뷰] Hierarchical Graph Pooling with Structure Learning

Zhen Zhang, Jiajun Bu외 5명|arXiv (Cornell University)|2019. 11. 14.

Advanced Graph Neural Networks참고 문헌 42인용 수 120

한 줄 요약

HGP-SL을 제안하는 비모수적 그래프 풀링 연산자와 희소 주의 구조 학습 단계가 결합되어 그래프 분류를 위한 계층적 그래프 표현을 구축하고, GNN에 통합하여 여섯 가지 벤치마크에서 평가한다.

ABSTRACT

Graph Neural Networks (GNNs), which generalize deep neural networks to graph-structured data, have drawn considerable attention and achieved state-of-the-art performance in numerous graph related tasks. However, existing GNN models mainly focus on designing graph convolution operations. The graph pooling (or downsampling) operations, that play an important role in learning hierarchical representations, are usually overlooked. In this paper, we propose a novel graph pooling operator, called Hierarchical Graph Pooling with Structure Learning (HGP-SL), which can be integrated into various graph neural network architectures. HGP-SL incorporates graph pooling and structure learning into a unified module to generate hierarchical representations of graphs. More specifically, the graph pooling operation adaptively selects a subset of nodes to form an induced subgraph for the subsequent layers. To preserve the integrity of graph's topological information, we further introduce a structure learning mechanism to learn a refined graph structure for the pooled graph at each layer. By combining HGP-SL operator with graph neural networks, we perform graph level representation learning with focus on graph classification task. Experimental results on six widely used benchmarks demonstrate the effectiveness of our proposed model.

연구 동기 및 목표

• 그래프 신경망에서 계층적 풀링의 필요성을 동기화하여 로컬 및 글로벌 그래프 구조를 포착하게 한다.
• 비매개 그래프 풀링 연산자(HGP-SL) 도입: 정보를 가진 노드를 선택하고 유도된 하위그래프를 형성.
• 희소 주의(attention) 기반 구조 학습 메커니즘 도입으로 풀링된 그래프 토폴로지 정제.
• 표준 GNN 아키텍처에서 HGP-SL의 엔드투엔드 학습 가능성 시연.
• 다양한 벤치마크 데이터셋에서 다수의 베이스라인과 비교하여 접근 방식의 실증 검증.]
• method:["노드 표현과 그 이웃 재구성 표현 간의 L1 거리로 노드 정보 점수를 정의하여 풀링 안내","각 풀링 층에서 상위 rn_i^k 노드를 선택하여 induced subgraph 형성(비매개 풀링)","희소성 판별을 위한 sparsemax 기능으로 희소성을 갖는 노드 특징과 기존 간선을 사용해 정제된 인접 행렬 S_i^k를 계산하는 희소 주의 기반 구조 학습 층 도입","학습된 S_i^k를 후속 그래프 합성에 통합(GCN/GNN 층의 원래 인접 행렬 대체)","각 레벨에서 평균 풀링과 최대 풀링을 연결하여 읽어오기(readout) 구성하고 K층을 합산하여 그래프 수준 표현 z_i 생성","그래프 분류를 위한 크로스 엔트로피 손실로 엔드투엔드 학습"]
• research_questions:[

실험 결과

연구 질문

• RQ1 노드 정보 점수에 의존하는 비매개 풀링 연산이 계층적 하향 샘플링 중 필수 그래프 토폴로지를 보존하는가?
• RQ2 풀링된 하위그래프에서 학습된 희소 그래프 구조를 도입하면 메시지 전달 및 최종 그래프 분류 성능이 전통적 풀링에 비해 개선되는가?
• RQ3 HGP-SL은 다양한 백본 GNN 아키텍처 및 데이터셋에서 최첨단 풀링 방법과 비교했을 때 어떤 성능을 보이는가?

주요 결과

방법	ENZYMES	PROTEINS	D&D	NCI1	NCI109	Mutagenicity
GRAPHLET	29.16±5.63	72.23±4.49	72.54±3.83	62.48±2.11	60.96±2.37	56.65±1.74
SP	42.66±5.38	75.71±2.73	78.72±3.89	67.44±2.76	67.72±2.28	71.63±2.19
WL	51.16±6.19	76.16±3.99	76.44±2.35	76.65±1.99	76.19±2.45	80.32±1.71
GCN	43.66±3.39	75.17±3.63	73.26±4.46	76.29±1.79	75.91±1.84	79.81±1.58
GraphSAGE	37.99±3.71	74.01±4.27	75.78±3.91	74.73±1.34	74.17±2.89	78.75±1.18
GAT	39.83±3.68	74.72±4.01	77.30±3.68	74.90±1.72	75.81±2.68	78.89±2.05
Set2Set	33.16±3.21	79.33±0.84	70.83±0.84	69.62±1.32	73.66±1.69	80.84±0.67
DGCNN	32.16±3.87	79.99±0.44	70.06±1.21	74.08±2.19	78.23±1.31	80.41±1.02
DiffPool	60.61±3.94	79.90±2.95	78.61±1.32	77.73±0.83	77.13±1.49	80.78±1.12
EigenPool	63.97±2.51	78.84±1.06	78.63±1.36	77.24±0.96	75.99±1.42	80.11±0.73
gPool	43.33±2.88	80.71±1.75	77.02±1.32	76.25±1.39	76.61±1.39	80.30±1.54
SAGPool	43.99±4.23	81.72±2.19	78.70±2.29	77.88±1.59	75.74±1.47	79.72±0.79
EdgePool	65.33±4.36	82.38±0.82	79.20±2.61	76.56±1.01	79.02±1.89	81.41±0.88
HGP-SL_NS L	60.18±2.43	81.51±1.69	77.24±1.09	76.33±1.43	76.32±1.22	79.42±0.58
HGP-SL_HOP	62.16±2.11	83.03±1.74	78.42±1.37	77.72±1.54	78.78±1.09	79.88±1.09
HGP-SL_DEN	63.51±2.64	83.12±0.84	78.11±1.35	77.42±1.23	78.76±0.61	81.07±1.02
HGP-SL	68.79±2.11	84.91±1.62	80.96±1.26	78.45±0.77	80.67±1.16	82.15±0.58

• HGP-SL은 그래프 분류를 위한 여섯 벤치마크에서 일관되게 최첨단 baselines를 상회.
• 학습된 희소 그래프 구조를 갖춘 구조화된 풀링이 NSL 및 HOP 변형보다 우수한 성능을 보여 구조 학습 구성 요소를 검증.
• 밀집 구조 학습 vs 희소 구조 학습에서 희소성(sparsemax)을 통한 잡음 감소로 일반적으로 도움이 됨.
• 차별화(Abalation)에서 풀링과 구조 학습을 결합하면 풀링만 사용하거나 이웃 연결만 사용하는 것보다 우수.
• HGP-SL은 GCN, GAT, GraphSAGE 백본에서 강력한 성능을 달성하여 아키텍처 호환성 입증.