[논문 리뷰] Hierarchical Graph Representation Learning with Differentiable Pooling

Rex Ying, Jiaxuan You외 4명|arXiv (Cornell University)|2018. 06. 22.

Advanced Graph Neural Networks참고 문헌 34인용 수 833

한 줄 요약

DiffPool은 계층적 그래프 표현을 학습하기 위한 미분가능 그래프 풀링 모듈을 도입하고, 그래프 분류 벤치마크에서 평균 정확도 5–10% 향상을 제공하며 다섯 개 데이터세트 중 네 개에서 최첨단 결과를 낳습니다.

ABSTRACT

Recently, graph neural networks (GNNs) have revolutionized the field of graph representation learning through effectively learned node embeddings, and achieved state-of-the-art results in tasks such as node classification and link prediction. However, current GNN methods are inherently flat and do not learn hierarchical representations of graphs---a limitation that is especially problematic for the task of graph classification, where the goal is to predict the label associated with an entire graph. Here we propose DiffPool, a differentiable graph pooling module that can generate hierarchical representations of graphs and can be combined with various graph neural network architectures in an end-to-end fashion. DiffPool learns a differentiable soft cluster assignment for nodes at each layer of a deep GNN, mapping nodes to a set of clusters, which then form the coarsened input for the next GNN layer. Our experimental results show that combining existing GNN methods with DiffPool yields an average improvement of 5-10% accuracy on graph classification benchmarks, compared to all existing pooling approaches, achieving a new state-of-the-art on four out of five benchmark data sets.

연구 동기 및 목표

• 그래프 분류를 위한 계층적 그래프 표현의 필요성을 제시한다.
• 여러 GNN 계층에 걸쳐 그래프를 조밀하게 축소하기 위한 미분가능 풀링 메커니즘을 제안한다.
• 학습된 클러스터 할당으로 심층 계층형 GNN의 엔드 투 엔드 학습을 가능하게 한다.
• DiffPool이 다양한 데이터세트와 GNN 백본에 걸쳐 성능을 향상시킨다는 것을 보여준다.

제안 방법

• DiffPool을 도입한다, 소프트 클러스터 할당 S^(l)을 학습하여 더 거친 그래프를 형성하는 미분가능 풀링 모듈.
• 클러스터 임베딩 X^(l+1) = S^(l)ᵀ Z^(l) 및 축소된 인접행렬 A^(l+1) = S^(l)ᵀ A^(l) S^(l) 를 계산한다.
• 한 층당 두 개의 GNN을 사용: 하나는 노드 임베딩(embedding GNN)을 만들고, 다른 하나는 풀링 할당을 생성하는(pooling GNN)을 사용한다.
• 보조 링크 예측 목적 L_LP = ||A^(l) , S^(l) S^(l)ᵀ||_F와 엔트로피 정규화 L_E를 사용하여 거의 원-핫에 가까운 할당을 유도한다.
• 순열 불변 GNN이 주어졌을 때 노드 순열에 대해 DiffPool의 순열 불변성을 보장한다.
• 분류에 사용되는 최종 그래프 표현으로 엔드-투-엔드 학습을 지원한다.

실험 결과

연구 질문

• RQ1 DiffPool이 그래프 분류 벤치마크에서 GNN의 기존 풀링 방법을 능가하는가?
• RQ2 DiffPool이 서로 다른 GNN 아키텍처에서 확장 가능하고 해석 가능한 계층적 그래프 표현을 제공하는가?
• RQ3 보조 목적어를 포함하는 것이 학습을 stabil하고 클러스터 해석가능성을 향상시키는가?
• RQ4 데이터세트에 따라 계층적 풀링이 플랫한 GNN 아키텍처에 비해 성능에 어떤 영향을 미치는가?
• RQ5 이 방법이 GraphSAGE를 넘어서는 아키텍처에 일반화 가능한가?

주요 결과

• DiffPool은 그래프 분류 작업에서 모든 기존 풀링 방법에 비해 평균 정확도 5–10% 향상을 제공합니다.
• 벤치마크 데이터셋 다섯 개 중 네 개에서 최첨단 결과를 달성합니다.
• GraphSAGE와 결합된 DiffPool은 기준치 대비 약 6.27%의 평균 이득을 보입니다.
• 그 임베딩과 함께 Structure2Vec를 사용할 때도 향상되어 일반 적용성을 시사합니다.
• 보조 링크 예측 목적이 학습 안정성을 높이고 실행 간 정확도 분산을 줄입니다.
• DiffPool은 그래프의 커뮤니티 구조와 일치하는 해석 가능한 계층적 클러스터를 학습합니다.