[논문 리뷰] MxPool: Multiplex Pooling for Hierarchical Graph Representation Learning

Yanyan Liang, Yanfeng Zhang외 2명|arXiv (Cornell University)|2020. 04. 15.

Advanced Graph Neural Networks참고 문헌 33인용 수 5

한 줄 요약

MxPool는 다중 그래프 신경망 아키텍처를 제안하여, 그래프 표현 학습에서 이질적인 그래프 특성 문제를 동시에 해결한다. 다양한 그래프 컨볼루션 및 풀링 네트워크를 학습 가능한 어텐션 가중치를 통해 동시에 활용함으로써, 그래프 크기, 차수, 간선 수에 따라 동적으로 적응함으로써 기준 그래프 분류 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법들, 특히 DiffPool를 능가한다.

ABSTRACT

How to utilize deep learning methods for graph classification tasks has attracted considerable research attention in the past few years. Regarding graph classification tasks, the graphs to be classified may have various graph sizes (i.e., different number of nodes and edges) and have various graph properties (e.g., average node degree, diameter, and clustering coefficient). The diverse property of graphs has imposed significant challenges on existing graph learning techniques since diverse graphs have different best-fit hyperparameters. It is difficult to learn graph features from a set of diverse graphs by a unified graph neural network. This motivates us to use a multiplex structure in a diverse way and utilize a priori properties of graphs to guide the learning. In this paper, we propose MxPool, which concurrently uses multiple graph convolution/pooling networks to build a hierarchical learning structure for graph representation learning tasks. Our experiments on numerous graph classification benchmarks show that our MxPool has superiority over other state-of-the-art graph representation learning methods.

연구 동기 및 목표

• 크기와 구조적 특성이 다양한 이질적 그래프에서 통합된 그래프 신경망을 훈련하는 데 도전하는 것.
• 다양한 그래프에서 그래프 컨볼루션 및 풀링 레이어의 고정된 초모수 설정의 한계를 극복하는 것.
• 노드 수, 간선 수, 평균 차수와 같은 그래프 고유의 특성에 동적으로 적응하는 계층적 그래프 표현 학습 프레임워크를 설계하는 것.
• 다양한 컨볼루션 및 풀링 네트워크 간의 어텐션 가중치를 종단 간(end-to-end)으로 학습시켜 관련된 그래프 특징을 우선시하는 것.
• 단일 경로 GNN보다 구조적 다양성을 더 효과적으로 다룰 수 있는 다중 구조를 활용하여 그래프 분류 성능을 향상시키는 것.

제안 방법

• MxPool는 그래프 크기에 맞게 노드 수준 표현을 학습하기 위해 서로 다른 은닉 차원 설정을 가진 다수의 병렬 그래프 컨볼루션 네트워크(GCNs)를 사용한다.
• 다양한 군집 비율을 가진 다수의 그래프 풀링 네트워크를 사용하여 정보 손실을 최소화하면서도 일관된 크기로 그래프를 다운샘플링한다.
• 사전에 알려진 그래프 특성(예: 노드 수, 간선 수, 평균 차수)을 사용하여 각 컨볼루션 및 풀링 네트워크에 대한 학습 가능한 어テン션 가중치를 계산한다.
• 어텐션 메커니즘은 주어진 그래프의 구조적 특성에 가장 적합한 네트워크에 더 높은 가중치를 할당한다.
• 최종 그래프 수준 표현은 모든 다중 구조 컨볼루션 및 풀링 스트림의 출력을 연결하고 어텐션을 거친 후 얻는다.
• 전체 아키텍처는 종단 간 학습이 가능하여 어텐션 가중치가 각 입력 그래프에 최적의 네트워크 조합을 자동으로 학습할 수 있다.

실험 결과

연구 질문

• RQ1 다양한 GCN과 풀링 네트워크를 포함한 다중 구조 아키텍처가 이질적 그래프에서 그래프 표현 학습을 향상시킬 수 있는가?
• RQ2 사전에 알려진 그래프 특성(예: 크기, 차수)을 기반으로 어텐션 가중치를 학습시키는 것이 고정 또는 균일한 초모수 설정보다 성능을 향상시키는가?
• RQ3 다중 구조 네트워크의 수가 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 어텐션 메커니즘은 그래프의 구조적 다양성에 따라 다양한 컨볼루션 및 풀링 네트워크를 효과적으로 우선시할 수 있는가?
• RQ5 MxPool는 표준 그래프 분류 벤치마크에서 DiffPool와 같은 최신 기술 수준의 방법들을 능가하는가?

주요 결과

• MxPool는 PROTEINS 및 ENZYMES 그래프 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 3-4개의 다중 구조 네트워크를 사용할 경우 PROTEINS에서 78.40%의 정확도, ENZYMES에서 69.53%의 정확도를 기록한다.
• 학습 가능한 어텐션을 가진 병렬 컨볼루션 및 풀링 네트워크를 사용하는 것이 단일 네트워크 기반 베이스라인보다 성능이 뛰어나며, MCMP(Multiplex Convolution and Multiplex Pooling)가 가장 우수한 성능을 보였다.
• MxPool가 학습한 어텐션 가중치는 그래프 크기와 강하게 상관되어 있다: 작은 그래프일수록 작은 차원의 GCN과 낮은 군집 비율의 풀링 네트워크에 더 높은 어텐션 가중치를 부여한다.
• 실험 결과, 소형 그래프와 대형 그래프에 대해 임bedding 크기와 군집 비율의 최적값이 서로 반대 방향으로 나타나, 다중 구조 적응의 필요성을 입증한다.
• 다중 구조 네트워크 수가 4를 초과할 경우 성능이 저하되며, 이는 파rameter 수 증가로 인한 과적합 때문인 것으로 나타났다.
• 노드 수, 간선 수, 평균 차수가 다른 그래프 간에 컨볼루션 및 풀링 네트워크의 어텐션 가중치 분포가 크게 달라지며, 이는 모델이 적응형 행동을 효과적으로 수행하고 있음을 확인한다.