[논문 리뷰] Clique pooling for graph classification

Enxhell Luzhnica, Ben Day외 1명|arXiv (Cornell University)|2019. 03. 31.

Graph Theory and Algorithms참고 문헌 12인용 수 31

한 줄 요약

이 논문은 최대 클리크—완전히 연결된 부분그래프—를 위상적 구조만을 사용해 집계함으로써 그래프를 군집화하는 비모수적 그래프 풀링 방법인 클리크 풀링을 제안한다. 이 방법은 해석 가능하며 순수하게 위상적이고, 그래프 신경망과 표준 CNN 모두와 호환되며, 벤치마크 그래프 분류 데이터셋에서 경쟁력 있는 성능을 보이며, 표준 2×2 풀링으로 대체했을 때 CIFAR-10에서 정확도가 다소 낮게 나타나지만 통계적으로 유의미한 하락(92.0% 대비 92.4%)을 보였다.

ABSTRACT

We propose a novel graph pooling operation using cliques as the unit pool. As this approach is purely topological, rather than featural, it is more readily interpretable, a better analogue to image coarsening than filtering or pruning techniques, and entirely nonparametric. The operation is implemented within graph convolution network (GCN) and GraphSAGE architectures and tested against standard graph classification benchmarks. In addition, we explore the backwards compatibility of the pooling to regular graphs, demonstrating competitive performance when replacing two-by-two pooling in standard convolutional neural networks (CNNs) with our mechanism.

연구 동기 및 목표

• 학습된 파rameter 없이 순수하게 위상 기반인 그래프 풀링 메커니즘을 개발하여 해석 가능성 향상.
• 기존의 필터링 또는 자르기 기반 방법보다도 CNN에서 이미지 군집화의 더 자연스러운 대응 요소가 되는 풀링 연산을 만드는 것.
• 일반적인 그래프와의 후행 호환성을 확보하여 VGG와 같은 표준 CNN 아키텍처에 직접 통합 가능하게 하는 것.
• 계산 효율성과 안정성을 유지하면서도 그래프 분류 벤치마크에서 경쟁력 있는 성능을 달성하는 것.
• 비모수적이고 위상 기반의 풀링 전략이 DiffPool와 같은 모수적 방법과 비슷하거나 뛰어난 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 수정된 Bron-Kerbosch 알고리즘을 사용해 그래프 내의 모든 최대 클리크를 식별한다.
• 클리크 크기에 따라 노드를 클리크에 할당하며, 동점인 경우 노드를 여러 클리크에 할당한다.
• 각 클리크는 군집화된 그래프의 슈퍼노드가 되며, 구성 노드의 특징 평균을 특징으로 계산한다.
• 스퍼노드 간 간선은 해당 클리크에 속한 노드들 사이에 간선이 존재하는지 여부에 따라 결정된다.
• 풀링은 다중 레이어에 걸쳐 계층적으로 적용되며, 평균 풀링과 최대 풀링의 연결을 통해 특징을 통합하는 리드아웃 함수를 사용한다.
• 이 방법은 GCN 및 GraphSAGE 아키텍처에 통합되어 비정규형 그래프와 정규 격자(예: CIFAR-10)에서 테스트된다.

실험 결과

연구 질문

• RQ1 순수하게 위상 기반인 비모수적 풀링 메커니즘이 그래프 분류에서 모수적 그래프 풀링 방법보다 우월하거나 유사한 성능을 낼 수 있는가?
• RQ2 기존의 그래프 풀링 기법에 비해 클리크 기반 풀링은 CNN에서의 이미지 군집화와 더 자연스러운 대응 요소가 되는가?
• RQ3 제안된 방법이 아키텍처 변경 없이도 표준 CNN 아키텍처에 원활하게 통합될 수 있는가?
• RQ4 표준 그래프 벤치마크에서 Clique Pooling의 성능은 DiffPool 및 GraphSAGE와 같은 최신 기법과 비교해 어떻게 되는가?
• RQ5 CNN에서 표준 2×2 최대 풀링을 클리크 풀링으로 대체했을 때 이미지 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• Enzymes 데이터셋에서 Clique Pooling은 60.71%의 정확도를 기록하여 GraphSAGE 기준선(54.25%)과 대부분의 커널 기반 및 GNN 방법을 능가했다.
• DD 데이터셋에서 Clique Pooling은 77.33%의 정확도를 기록하여 GraphSAGE 기준선(75.42%)과 대부분의 다른 방법을 능가했으며, DiffPool를 제외한 모든 방법보다 뛰어났다.
• Proteins 데이터셋에서 Clique Pooling은 72.59%의 정확도를 기록하여 GraphSAGE(68.25%)와 대부분의 다른 비모수적 방법을 능가했다.
• Collab 데이터셋에서 Clique Pooling은 74.50%의 정확도를 기록하여 GraphSAGE(70.48%)와 대부분의 다른 비모수적 접근법을 능가했다.
• CIFAR-10 실험에서 Clique Pooling은 평균 정확도 92.0%(표준편차 ±0.5%)를 기록했으며, 2×2 최대 풀링 기준선(92.4%)과 비교해 다소 낮았지만 통계적으로 유의미한 하락(p=0.02)을 보였다.
• 이 방법은 비모수적이며 학습 가능한 파rameter가 전혀 없어 해석 가능성 향상과 DiffPool와 같은 방법에서 관찰되는 학습 불안정성 문제를 피할 수 있다.