[논문 리뷰] Edge Contraction Pooling for Graph Neural Networks

Frederik Diehl|arXiv (Cornell University)|2019. 05. 27.

Advanced Graph Neural Networks참고 문헌 18인용 수 98

한 줄 요약

EdgePool은 에지 수축(edge contractions)을 기반으로 한 강력한 풀링 계층으로, 여러 학습된 풀링 방법보다 성능이 우수하며, 다양한 GNN 아키텍처에 통합되고, 훈련을 바꾸지 않고도 노드 및 그래프 분류를 개선합니다.

ABSTRACT

Graph Neural Network (GNN) research has concentrated on improving convolutional layers, with little attention paid to developing graph pooling layers. Yet pooling layers can enable GNNs to reason over abstracted groups of nodes instead of single nodes. To close this gap, we propose a graph pooling layer relying on the notion of edge contraction: EdgePool learns a localized and sparse hard pooling transform. We show that EdgePool outperforms alternative pooling methods, can be easily integrated into most GNN models, and improves performance on both node and graph classification.

연구 동기 및 목표

• 노드 그룹 간의 계층적 추론을 가능하게 하기 위한 그래프 풀링 계층의 필요성을 동기부여한다.
• 그래프 구조를 보존하는 에지 수축 기반 풀링 계층인 EdgePool를 소개한다.
• EdgePool가 기존의 풀링 방법들보다 우수하다는 것을 시연하고, 일반적인 GNN 아키텍처에 쉽게 통합될 수 있음을 보인다.
• EdgePool가 그래프 수준과 노드 수준의 분류 작업 모두를 향상시킨다는 것을 보여준다.

제안 방법

• 학습 가능한 선형 변환을 통해 연결된 노드 특징으로부터 에지 점수를 계산한다 (r(eij) = W * (ni || nj) + b).
• 대상 노드당 로컬 소프트맥스 정규화를 적용하여 에지 점수를 얻는다 (sij = 0.5 + softmax_r*(rij)).
• 인접 노드가 이미 합쳐지지 않도록 보장하면서 최고 점수를 받은 에지들을 반복적으로 수축시켜 각 층에서 약 50%의 풀링을 달성한다.
• 수축 후 새로운 노드 특징을 hij = sij * (ni + nj)로 계산하여 그래디언트 흐름(게이팅)을 가능하게 한다.
• 언풀링은 역 매핑을 사용하여 연속된 EdgePool 층을 통해 노드를 다시 매핑하고, 언풀링 중 에지 점수로 특징을 스케일링한다.
• EdgePool은 선택적으로 에지 특징을 원시 점수에 연결(concatenate)하여 포함시킬 수 있다 (r(eij) = W*(ni || nj || fij) + b).

실험 결과

연구 질문

• RQ1 Q1: EdgePool가 그래프 작업에서 대체 풀링 방법들보다 우수한가?
• RQ2 Q2: EdgePool를 기존 GNN 아키텍처에 쉽게 통합할 수 있는가?
• RQ3 Q3: EdgePool가 노드 분류 작업에 이로울 수 있는가?

주요 결과

데이터셋	기본 모델	DiffPool	TopKPool	SAGPool	EdgePool
proteins	71.4±3.2	72.3±5.8	70.6±4.8	71.8±6.0	72.5±3.2
rdt-b	69.9±3.7	82.9±3.4	68.9±3.2	84.7±4.4	87.3±4.1
rdt-12k	35.1±1.6	34.8±1.9	28.7±1.8	41.9±3.3	45.6±1.8
collab	65.4±1.5	70.1±1.5	64.6±2.1	63.9±2.5	67.1±2.7

• EdgePool은 비-풀링 기준선과 TopKPool에 대해 그래프 분류 데이터셋(proteins, rdt-b, rdt-12k, collab) 전반에서 지속적으로 성능을 향상시키고, 일부 과제에서 DiffPool을 제외한 모든 풀링 방법보다 성능이 우수하다.
• 기존 아키텍처에 통합된 EdgePool은 평균 약 2% 포인트의 향상을 보이며, 모델에 따라 이득이 다르게 나타난다(그래프SAGE에서 가장 크고, GIN/GIN0에서 더 작다).
• EdgePool은 여러 데이터셋과 모델에서 노드 분류에 주목할 만한 향상을 제공하며 전체 평균 약 3.5% 포인트의 이득을 가져오고, GIN 및 GIN0에서 가장 큰 개선을 보인다.
• 그래프 분류 벤치마크에서 EdgePool은 proteins에서 72.5%, rdt-b에서 87.3%, rdt-12k에서 45.6%, collab에서 67.1%를 달성한다(보고된 평균 ± 표준편차).
• EdgePool은 에지에 대해 희소하고 선형 시간 연산을 지원하여 대규모 그래프에도 확장성을 제공한다.