[논문 리뷰] CommPOOL: An Interpretable Graph Pooling Framework for Hierarchical Graph Representation Learning

Haoteng Tang, Guixiang Ma외 3명|arXiv (Cornell University)|2020. 12. 10.

Advanced Graph Neural Networks참고 문헌 56인용 수 4

한 줄 요약

이 논문은 PAM 군집화를 사용한 비지도 공동체 탐지로 그래프 내 계층적 공동체 구조를 포착하고 유지하는 새로운 해석 가능한 그래프 풀링 프레임워크인 CommPOOL을 제안한다. 공동체 메도이드 기반으로 노드를 풀링하고 구조적 및 특징 정보를 집계함으로써, CommPOOL은 다섯 개인 공개 벤치마크 데이터셋과 하나의 합성 데이터셋에서 그래프 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성하면서도 투명하고 인간이 이해할 수 있는 풀링 연산을 가능하게 한다.

ABSTRACT

Recent years have witnessed the emergence and flourishing of hierarchical graph pooling neural networks (HGPNNs) which are effective graph representation learning approaches for graph level tasks such as graph classification. However, current HGPNNs do not take full advantage of the graph's intrinsic structures (e.g., community structure). Moreover, the pooling operations in existing HGPNNs are difficult to be interpreted. In this paper, we propose a new interpretable graph pooling framework - CommPOOL, that can capture and preserve the hierarchical community structure of graphs in the graph representation learning process. Specifically, the proposed community pooling mechanism in CommPOOL utilizes an unsupervised approach for capturing the inherent community structure of graphs in an interpretable manner. CommPOOL is a general and flexible framework for hierarchical graph representation learning that can further facilitate various graph-level tasks. Evaluations on five public benchmark datasets and one synthetic dataset demonstrate the superior performance of CommPOOL in graph representation learning for graph classification compared to the state-of-the-art baseline methods, and its effectiveness in capturing and preserving the community structure of graphs.

연구 동기 및 목표

• 기존 계층적 그래프 풀링 네트워크(HGPNNs)에서 풀링 연산의 해석 가능성 부족 문제를 해결하기 위해.
• 표준 GNNs에서 자주 忽略되는 그래프의 내재된 계층적 공동체 구조를 그래프 표현 학습 과정에서 유지하기 위해.
• 그래프 수준의 표현 학습을 위한 일반적이고 유연하며 해석 가능한 프레임워크를 개발하여 그래프 분류 작업에서 성능을 향상시키기 위해.
• 공동체 기반 풀링과 반무작위 풀링을 비교함으로써 공동체 구조가 그래프 분류에서 핵심 요소임을 입증하기 위해.

제안 방법

• CommPOOL는 노드 특징 유사도를 바탕으로 자연스러운 공동체를 식별하기 위해 분할 기반 메도이드(PAM)를 사용한 비지도 공동체 탐지 방법을 적용한다.
• 검출된 각 공동체의 메도이드 노드를 대표 노드로 선택하여 계층적 풀링을 수행한다.
• 모든 공동체 구성원의 노드 특징과 구조적 정보를 메도이드 노드로 집계함으로써 국소적 및 공동체 수준의 표현을 유지한다.
• 풀링 과정은 공동체 구조가 명시적으로 탐지되고 시각화되기 때문에 본질적으로 해석 가능하다. 이로써 사용자는 노드가 어떻게 그룹화되고 축소되는지 추적할 수 있다.
• 지역적 노드 특징과 계층적 공동체 수준 표현을 동시에 학습하는 GNN 기반 아키텍처에 이 방법을 통합한다.
• GNN 기반 백본에 다수의 풀링 레이어를 통합하여 그래프 분류를 위한 엔드 투 엔드 학습이 가능하도록 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 효과적이고 해석 가능한 방식으로 그래프의 계층적 구조를 포착하고 유지할 수 있는가?
• RQ2 비공동체 인식 풀링 전략에 비해 공동체 기반 풀링이 그래프 분류 성능 향상에 기여하는가?
• RQ3 진정한 공동체 구조를 유지할 경우 모델 성능과 강건성에 어느 정도 영향을 미치는가?
• RQ4 풀링 연산이 투명하고 해석 가능하여 사용자가 어떤 노드가 어떻게 그룹화되고 왜 그런지 이해할 수 있는가?

주요 결과

• CommPOOL은 다섯 개인 공개 그래프 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 기존 SOTA 방법을 초월한다.
• PROTEINS 데이터셋에서 CommPOOL은 74.74%의 정확도를 기록했으며, 반무작위 풀링 베이스라인(64.90%)보다 유의미하게 높았다.
• BZR 데이터셋에서는 CommPOOL이 86.00%의 정확도를 달성했고, 반무작위 풀링 대비 81.50%보다 높아 공동체 구조 유지의 중요성을 입증했다.
• 합성 시뮬레이션 데이터셋에서는 CommPOOL이 80.14%의 정확도를 기록했고, 반무작위 풀링 대비 70.34%보다 높아 공동체 구조의 역할을 추가로 검증했다.
• 시각화 결과는 CommPOOL이 의미 있는 공동체 구조를 성공적으로 포착했음을 확인했으며, 공동체가 잘 정의되지 않은 경우 오분류가 발생함을 보여주었다.
• 절단 분석 결과, 비록 반무작위 분할이 일부 계층적 구조를 유지하더라도 공동체 기반 풀링이 훨씬 더 효과적임을 입증했다.