[논문 리뷰] Understanding Pooling in Graph Neural Networks

Daniele Grattarola, Daniele Zambon외 2명|arXiv (Cornell University)|2021. 10. 11.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 신경망에서 그래프 풀링을 형식화하기 위해 선택, 감소, 연결의 세 가지 핵심 연산으로 분해하는 통합 프레임워크인 SRC(Selection, Reduction, Connection)를 제안한다. 30개 이상의 풀링 방법에 대한 분류 체계를 수립하고, 속성, 구조, 작업 유지 능력의 세 가지 기준을 사용해 평가하며, 어떤 한 방법도 항상 우월한 성능을 보이지 않음을 발견한다. 이는 구조 유지나 학습 가능한 유연성과 같은 작업 특화 요구사항에 따라 풀링 전략을 선택하도록 실무자들을 안내한다.

ABSTRACT

Inspired by the conventional pooling layers in convolutional neural networks, many recent works in the field of graph machine learning have introduced pooling operators to reduce the size of graphs. The great variety in the literature stems from the many possible strategies for coarsening a graph, which may depend on different assumptions on the graph structure or the specific downstream task. In this paper we propose a formal characterization of graph pooling based on three main operations, called selection, reduction, and connection, with the goal of unifying the literature under a common framework. Following this formalization, we introduce a taxonomy of pooling operators and categorize more than thirty pooling methods proposed in recent literature. We propose criteria to evaluate the performance of a pooling operator and use them to investigate and contrast the behavior of different classes of the taxonomy on a variety of tasks.

연구 동기 및 목표

• GNN에서 널리 사용되지만 문헌에서 표준화되지 않은 그래프 풀링 연산자에 대한 통합 형식론의 부족을 해결하기 위해.
• 선택(노드 그룹화), 감소(속성 집계), 연결(간선 재구성)의 세 가지 연산의 조합으로 그래프 풀링을 형식화하기 위해.
• 학습 가능성, 복잡도, 출력 크기, 풀링 전략(계층적 대비 전역)을 기반으로 30개 이상의 기존 풀링 방법에 대한 종합적 분류 체계를 수립하기 위해.
• 세 가지 평가 기준—속성 유지, 구조 유지, 작업 특화 적응성—을 정의하고 다양한 벤치마크에서 풀링 연산자 간 비교에 적용하기 위해.
• 실무자들이 GNN에서 풀링 연산자를 구현하고 평가할 수 있도록 프레임워크에 종속되지 않는 파이썬 API를 제공하고, 재현 가능성을 보장하기 위해.

제안 방법

• 그래프 풀링을 세 가지 함수로 분해하는 모듈러하고 형식화된 프레임워크를 제안: 선택(노드를 슈퍼노드로 그룹화), 감소(슈퍼노드별로 노드 특징 집계), 연결(슈퍼노드 간 간선 재구성).
• SRC 함수를 노드 및 그래프 임베딩 연산으로 형식화하여, 최근의 GNN 보편성 이론을 활용해 어떤 풀링 연산자라도 근사할 수 있도록 보장한다.
• 학습 가능성(학습 가능한 대비 비학습 가능), 복잡도(선형 대비 이차), 출력 크기(고정 대비 가변), 풀링 전략(계층적 대비 전역)의 네 가지 차원에 따라 풀링 방법을 분류한다.
• 세 가지 평가 기준을 정의한다: (1) 노드 속성 정보 유지, (2) 원래 그래프의 구조 유지(스펙트럼 및 라플라시안 정렬 기반), (3) 하류 작업에 대한 적응성(하류 정확도로 측정).
• 표준화되고 프레임워크에 종속되지 않는 파이썬 API(SRC)를 구현하여, 풀링 연산자들이 GNN 라이브러리에 쉽게 통합되고 재현 가능하도록 한다.
• 합성 및 실세계 데이터셋(예: PROTEINS, MUTAG, ModelNet10)에서 광범위한 실험을 수행하여, 정의된 기준에 따라 다양한 풀링 유형의 성능을 평가하고 대조한다.

실험 결과

연구 질문

• RQ1 어떻게 그래프 풀링 연산자를 단일이고 모듈러한 프레임워크로 통합할 수 있는가?
• RQ2 문헌에 제안된 다양한 그래프 풀링 방법들 사이의 핵심적인 구조적 및 기능적 차이는 무엇인가?
• RQ3 학습 가능성, 복잡도, 출력 크기, 전략 등의 풀링 연산자 특성이 다양한 그래프 유형과 작업에서 성능에 가장 큰 영향을 미치는가?
• RQ4 다양한 풀링 연산자들이 노드 속성, 그래프 구조, 작업 특화 정보를 어느 정도 유지하는가?
• RQ5 체계적인 평가 프레임워크는 특정 응용 시나리오에 가장 적합한 풀링 방법을 식별할 수 있는가?

주요 결과

• 어느 한 풀링 연산자도 모든 데이터셋과 평가 기준에서 항상 최고 성능을 내지 못하며, 성능은 작업과 그래프 유형에 따라 크게 달라진다.
• 비학습 가능한 희소 방법들인 Graclus와 NDP는 Enzymes와 Mutagenicity와 같은 여러 벤치마크에서 평균 정확도가 가장 높게 나타나 강력한 일반화 능력을 보인다.
• ModelNet10과 같은 대규모 데이터셋에서는 스펙트럼 기반 방법들(MinCut, NDP)과 학습 가능한 밀집 방법들(DiffPool)이 최고 성능을 기록했으며, MinCut는 83.9%의 정확도를 달성했다.
• 밀집형, 학습 가능한 풀링 연산자들(예: DiffPool, MinCut)은 라플라시안 제곱 손실과 스펙트럼 정렬 측정 기준으로 측정했을 때 구조 정보 유지 능력에서 뛰어난 성능을 보였다.
• 학습 가능한 희소 방법들은 종종 전체 그래프 하위 구조를 기각하여 정보 손실을 초래하고 성능 저하를 유도하므로, 종합적으로 권장하기 어렵다.
• 일부 데이터셋(예: Mutagenicity)에서는 풀링을 적용하지 않은 베이스라인 성능이 일부 풀링 방법보다 뛰어나, 그래프 풀링이 항상 유리하지 않으며 신중한 적용이 필요함을 시사한다.