[논문 리뷰] Towards Sparse Hierarchical Graph Classifiers

Cătălina Cangea, Petar Veličković외 3명|arXiv (Cornell University)|2018. 11. 03.

Advanced Graph Neural Networks참고 문헌 19인용 수 198

한 줄 요약

논문은 학습 가능한 풀링 메커니즘을 사용하여 그래프를 2차 메모리 사용 없이 다운샘플링하는 확장 가능한 희소성 보존 계층 그래프 분류기를 제시하여 표준 벤치마크에서 DiffPool과 경쟁력 있는 성능을 달성합니다.

ABSTRACT

Recent advances in representation learning on graphs, mainly leveraging graph convolutional networks, have brought a substantial improvement on many graph-based benchmark tasks. While novel approaches to learning node embeddings are highly suitable for node classification and link prediction, their application to graph classification (predicting a single label for the entire graph) remains mostly rudimentary, typically using a single global pooling step to aggregate node features or a hand-designed, fixed heuristic for hierarchical coarsening of the graph structure. An important step towards ameliorating this is differentiable graph coarsening---the ability to reduce the size of the graph in an adaptive, data-dependent manner within a graph neural network pipeline, analogous to image downsampling within CNNs. However, the previous prominent approach to pooling has quadratic memory requirements during training and is therefore not scalable to large graphs. Here we combine several recent advances in graph neural network design to demonstrate that competitive hierarchical graph classification results are possible without sacrificing sparsity. Our results are verified on several established graph classification benchmarks, and highlight an important direction for future research in graph-based neural networks.

연구 동기 및 목표

• 그래프 분류의 필요성과 고정 풀링이나 글로벌 풀링의 한계를 제시한다.
• 메모리의 제곱 성질 없이 그래프를 다운샘플링하는 미분 가능하고 희소한 풀링 계층을 개발한다.
• 컨볼루션, 풀링, 리드아웃을 통합하여 엔드-투-엔드 그래프 분류 모델을 구축한다.
• 표준 그래프 분류 벤치마크에서 확장성과 경쟁력 있는 성능을 시연한다.

제안 방법

• 자기 루프를 갖는 유도(mean-pooling) 전파 규칙을 이용한 그래프 컨볼루션: MP(X,A)=sigma(D^(-1) Â X Θ + X Θ' ).
• 노드를 고정 비율 k로 제거하는 풀링 계층으로, 투사 벡터 p와 top-k 선택을 사용해 Y=Xp/||p||, i=top-k(y,k), X'=X⊙tanh(y) at indices i, A'=A_i,i.
• 각 레이어의 요약 s^(l) = (1/N^(l)) sum_i x_i^(l) || max_i x_i^(l)로 리드아웃하고, 최종 그래프 표현 s = sum_l s^(l)이며 예측을 위한 MLP를 사용한다.
• 풀링 후 데이터셋별 학습률을 갖는 Adam 최적화와 80%의 노드를 보존하기 위한 세 개의 conv-pool 블록을 사용한다.
• DiffPool과 비교해 O(V+E) 저장 공간을 유지하여 제곱 비용을 피하고 확장성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 미분 가능한 풀링이 2차 메모리 비용 없이 그래프 CNN에 구현될 수 있는가?
• RQ2 희소성 알려진 계층적 풀링이 표준 그래프 분류 벤치마크에서 경쟁력 있는 성능을 유지하는가?
• RQ3 제안된 방법이 DiffPool 및 희소 집계 기반 기준선과 데이터셋 전체에서 어떻게 비교되는가?
• RQ4 Jumping Knowledge 스타일의 다중 스케일 리드아웃이 분류 성능에 도움이 되는가?

주요 결과

데이터셋	모델	Enzymes	D&D	Collab	Proteins
Enzymes	Graphlet	41.03	–	–	–
D&D	Shortest-path	74.85	78.86	76.43	76.43
Collab	1-WL	64.66	59.10	78.61	73.76
Proteins	WL-QA	72.91	–	–	75.26
Enzymes	PatchySAN	–	–	–	–
D&D	GraphSAGE	54.25	75.42	68.25	70.48
Collab	ECC	53.50	74.10	67.79	72.65
Proteins	Set2Set	60.15	78.12	71.75	74.29
Enzymes	SortPool	57.12	79.37	73.76	75.54
D&D	DiffPool-Det	58.33	75.47	82.13	75.62
Collab	DiffPool-NoLP	62.67	79.98	75.63	77.42
Proteins	DiffPool	64.23	81.15	75.50	78.10
Enzymes	Ours	64.17	78.59	74.54	75.46

• 제안된 희소 풀링 방법은 경쟁력 있는 정확도를 달성하며 DiffPool 변형과 거의 유사하게 성능을 보이면서도 제곱 메모리 사용을 피한다.
• Enzymes, D&D, Collab, Proteins에서 모델은 희소 GraphSAGE 기준선보다 우수하게 나타나고 대다수 데이터셋에서 대부분의 DiffPool 변형에 약 1퍼센트 포인트 이내의 성능을 보인다.
• 제안 방법은 GPU 메모리 동작이 우수하고 DiffPool이 높은 메모리 요구를 발생시키는 더 큰 그래프에서도 규모 확장이 가능하다.
• 실험에서 Our 모델은 대개 테스트된 접근법들 중 최상위 또는 근접 최상위 점수를 얻어, 희소성 친화적인 계층적 풀링의 가치를 입증한다.