[논문 리뷰] Accurate Learning of Graph Representations with Graph Multiset Pooling

Jinheon Baek, Minki Kang외 1명|arXiv (Cornell University)|2021. 02. 23.

Advanced Graph Neural Networks참고 문헌 48인용 수 68

한 줄 요약

이 논문은 Graph Multiset Transformer(GMT)을 제시한다. 그래프 표현을 다중집합 인코딩으로 다루고 그래프 구조화된 어텐션을 사용하여 WL 테스트와 유사한 순열 불변 그래프 임베딩을 생성한다. GMT는 그래프 분류, 재구성 및 생성에서 최첨단 성능을 달성하는 동시에 메모리 효율성을 유지한다.

ABSTRACT

Graph neural networks have been widely used on modeling graph data, achieving impressive results on node classification and link prediction tasks. Yet, obtaining an accurate representation for a graph further requires a pooling function that maps a set of node representations into a compact form. A simple sum or average over all node representations considers all node features equally without consideration of their task relevance, and any structural dependencies among them. Recently proposed hierarchical graph pooling methods, on the other hand, may yield the same representation for two different graphs that are distinguished by the Weisfeiler-Lehman test, as they suboptimally preserve information from the node features. To tackle these limitations of existing graph pooling methods, we first formulate the graph pooling problem as a multiset encoding problem with auxiliary information about the graph structure, and propose a Graph Multiset Transformer (GMT) which is a multi-head attention based global pooling layer that captures the interaction between nodes according to their structural dependencies. We show that GMT satisfies both injectiveness and permutation invariance, such that it is at most as powerful as the Weisfeiler-Lehman graph isomorphism test. Moreover, our methods can be easily extended to the previous node clustering approaches for hierarchical graph pooling. Our experimental results show that GMT significantly outperforms state-of-the-art graph pooling methods on graph classification benchmarks with high memory and time efficiency, and obtains even larger performance gain on graph reconstruction and generation tasks.

연구 동기 및 목표

• 그래프 풀링을 그래프 구조 인식을 갖춘 다중집합 인코딩 문제로 형식화한다.
• 그래프 구조화된 어텐션을 사용하여 순열 불변이고 주입 가능한 그래프 임베딩을 생성하는 Graph Multiset Transformer(GMT)를 개발한다.
• GMT의 표현력이 Weisfeiler-Lehman(WL) 테스트의 한계까지 강력하다고 증명하고 노드 클러스터링으로 확장 가능함을 보여준다.
• 생물화학, 사회 및 분자 데이터셋에 걸친 그래프 분류, 재구성 및 생성 작업에서 GMT를 실험적으로 검증한다.

제안 방법

• GMPool을 소모(seed)-기반의 주의 기반 풀링으로 정의하고 Graph Multi-head Attention(GMH)을 사용하여 n개의 노드 표현을 k개의 대표 노드로 압축한다.
• GMH를 사용하여 그래프 인식 GNN을 통해 키(keys)/값(values)을 계산하고 구조 정보를 포착하기 위해 단순 선형 투영이 아닌 그래프 인지 정보를 활용한다.
• Self-Attention 블록을 도입하여 풀링된 노드들 간의 상호작용 및 모든 노드 간의 상호작용을 다중头 어텐션으로 모델링한다.
• GMPool과 SelfAtt의 주입성(injectiveness)을 증명하여 GMT가 WL 테스트의 파워 한계와 일치하도록 정렬한다.
• 희소하고 확장 가능한 접근 방식으로 GMT를 노드 클러스터링과 연결하고 밀집한 인접 행렬 연산을 피한다.
• 그래프 분류, 재구성 및 분자 생성 작업에서 GMT를 평가하고 메모리/시간 효율성을 분석한다.

실험 결과

연구 질문

• RQ1 그래프 풀링을 순열 불변이고 주입 가능한 상태로 유지하는 다중집합 인코딩 문제로 형식화할 수 있는가?
• RQ2 GMT(Graph Multiset Transformer)이 WL 테스트 수준의 판별력을 달성하면서 대형 그래프에서 계산 효율성을 유지하는가?
• RQ3 다른 최첨단 풀링 방법과 비교했을 때 GMT가 그래프 분류, 재구성 및 생성에서 어떠한 성능을 보이는가?
• RQ4 GMT의 메모리 및 시간 트레이드오프가 클러스터링 기반 풀링 방법에 비해 어떤 차이를 보이는가?

주요 결과

• GMT는 그래프 분류 벤치마크에서 대부분의 그래프 풀링 기반 기준선보다 우수한 성능을 보이고 메모리 및 시간 효율이 우수하다.
• GMT는 그래프 재구성 및 분자 생성 작업에서 더 큰 성능 향상을 보여 그래프 정보를 더 많이 보존한다는 것을 시사한다.
• 변경점 제거 없이도 그래프 어텐션과 자체 어텐션 구성요소가 성능에 크게 기여하며, GMT는 추가 메시지 전달 계층이 있어도 효과적으로 작동할 수 있다.
• GMT는 희소 그래프에서 메모리 효율적이고 확장 가능하며 실질적으로 메모리 부담이 큰 풀링 기준선을 능가한다.