[논문 리뷰] Rethinking pooling in graph neural networks

Diego Mesquita, Amauri H. Souza외 1명|arXiv (Cornell University)|2020. 10. 22.

Advanced Graph Neural Networks참고 문헌 52인용 수 40

한 줄 요약

이 논문은 로컬 풀링이 GNN의 성능에 필수적이지 않음을 보여주며, 비로컬 풀링 변형도 비교적 우수하게 작동하고 합성은 학습 표현을 주로 이끈다.

ABSTRACT

Graph pooling is a central component of a myriad of graph neural network (GNN) architectures. As an inheritance from traditional CNNs, most approaches formulate graph pooling as a cluster assignment problem, extending the idea of local patches in regular grids to graphs. Despite the wide adherence to this design choice, no work has rigorously evaluated its influence on the success of GNNs. In this paper, we build upon representative GNNs and introduce variants that challenge the need for locality-preserving representations, either using randomization or clustering on the complement graph. Strikingly, our experiments demonstrate that using these variants does not result in any decrease in performance. To understand this phenomenon, we study the interplay between convolutional layers and the subsequent pooling ones. We show that the convolutions play a leading role in the learned representations. In contrast to the common belief, local pooling is not responsible for the success of GNNs on relevant and widely-used benchmarks.

연구 동기 및 목표

• GNN에서 국지성 보존 풀링의 필요성에 의문을 제기한다.
• 표준 그래프 분류 벤치마크에서 비로컬 풀링 변형의 성능을 평가한다.
• 컨볼루션 계층이 풀링과 어떻게 상호작용하여 표현을 형성하는지 분석한다.
• GNN의 풀링 설계 선택을 건전하게 점검하기 위한 간단한 기준선을 제공한다.

제안 방법

• 대표적인 풀링 중심 모델(Graclus, DiffPool, GMN)을 재현하고 풀링을 무작위화하거나 보완 그래프를 사용하여 단순화한다.
• 네 가지 그래프 분류 데이터셋(ZINC, NCI1, IMDB-B, SMNIST)과 추가 데이터셋에서 평가한다.
• 학습된 풀링이나 클러스터링 기반 풀링을 비로컬 또는 무작위 풀링 변형으로 대체한다.
• 학습 임베딩을 검토하여 풀링 영향과 컨볼루션의 조기 스무딩 역할을 이해한다.
• 풀링 필요성을 평가하기 위해 전역 풀링 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 로컬리티 보존 풀링이 표준 벤치마크에서 GNN 성능에 결정적으로 영향을 미치는가?
• RQ2 무작위 또는 비로컬 풀링이 전통적 풀링 체계의 성능과 일치하거나 이를 능가할 수 있는가?
• RQ3 합성 계층은 GNN에서 풀링의 효과에 어떤 영향을 미치는가?
• RQ4 확산 기반 접근에서 풀링 품질에 클러스터링 정규화 손실이 필수적인가?
• RQ5 다양한 데이터셋에 걸친 비로컬 풀링 사용의 성능 영향은?

주요 결과

• 비로컬 풀링 변형(Complement, Uniform/Normal/Bernoulli random)이 로컬 풀링 대응변수와 대체로 동등하거나 더 높은 성능을 보인다.
• Graclus와 Complement는 NCI1, IMDB-B, SMNIST, ZINC에서 비슷한 성능을 달성하며, Complement는 Graclus의 근접 범위 내에 있다.
• DiffPool은 무작위 풀링을 포함할 때 보고된 작업에서 종종 DiffPool보다 평균 정확도가 높다.
• GMN은 거리 기반 또는 무작위 변형에서 GMN과 동등한 성능을 보이며 종종 더 빠른 학습 시간을 보인다.
• 풀링 전에 단일 컨볼루션을 사용하는 것은 여러 컨볼루션에 비해 성능을 크게 저하시켜 조기 스무딩의 중요성을 강조한다.
• 다수의 컨볼루션 위에 전역 평균 풀링은 로컬 풀링 방법과 비슷한 성능을 낸다.