[논문 리뷰] Graph Convolutional Networks with EigenPooling

Yao Ma, Suhang Wang외 2명|arXiv (Cornell University)|2019. 04. 30.

Advanced Graph Neural Networks참고 문헌 51인용 수 9

한 줄 요약

이 논문은 계층적 그래프 표현 학습 중 국소 서브그래프 구조를 유지하는 데 초점을 맞춘 새로운 그래프 풀링 연산자인 EigenPooling을 제안한다. 그래프 푸리에 변환을 활용하여 국소 서브그래프의 고유벡터를 사용해 노드 특징을 집계함으로써, 새로운 GCN 기반 프레임워크인 EigenGCN을 가능하게 한다. 이는 국소 및 전반적인 구조적 정보를 효과적으로 포착함으로써 여섯 개인 그래프 분류 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Graph neural networks, which generalize deep neural network models to graph structured data, have attracted increasing attention in recent years. They usually learn node representations by transforming, propagating and aggregating node features and have been proven to improve the performance of many graph related tasks such as node classification and link prediction. To apply graph neural networks for the graph classification task, approaches to generate the extit{graph representation} from node representations are demanded. A common way is to globally combine the node representations. However, rich structural information is overlooked. Thus a hierarchical pooling procedure is desired to preserve the graph structure during the graph representation learning. There are some recent works on hierarchically learning graph representation analogous to the pooling step in conventional convolutional neural (CNN) networks. However, the local structural information is still largely neglected during the pooling process. In this paper, we introduce a pooling operator $\pooling$ based on graph Fourier transform, which can utilize the node features and local structures during the pooling process. We then design pooling layers based on the pooling operator, which are further combined with traditional GCN convolutional layers to form a graph neural network framework $\m$ for graph classification. Theoretical analysis is provided to understand $\pooling$ from both local and global perspectives. Experimental results of the graph classification task on $6$ commonly used benchmarks demonstrate the effectiveness of the proposed framework.

연구 동기 및 목표

• 그래프 신경망에서 전역 풀링의 한계를 해결하기 위해, 그래프 표현 학습 과정에서 국소 구조적 정보를 무시하는 문제를 해결한다.
• 노드 특징과 국소 서브그래프 구조를 모두 통합하여 보다 정보적인 슈퍼노드 표현을 가능하게 하는 풀링 연산자를 설계한다.
• 분류 작업을 위한 효과적인 그래프 수준 표현 학습을 가능하게 하는 계층적 그래프 신경망 프레임워크를 개발한다.
• 제안된 EigenPooling 연산자의 국소 및 전반적 관점에서 이론적 분석을 수행한다.
• 제안된 프레임워크의 효과성을 표준 그래프 분류 벤치마크에서 경험적으로 검증한다.

제안 방법

• 국소 서브그래프의 그래프 푸리에 변환에 기반한 풀링 연산자인 EigenPooling을 제안하며, 고유벡터를 사용해 노드 특징을 요약하면서도 구조적 맥락을 유지한다.
• 서브그래프 기반 그래프 굴곡 전략과 결합한 EigenPooling을 사용해 계층적 표현을 형성하는 풀링 레이어를 구성한다.
• 표준 그래프 컨볼루션 네트워크(GCN) 컨볼루션 레이어와 EigenPooling 레이어를 통합하여 엔드 투 엔드 그래프 분류를 위한 EigenGCN 프레임워크를 구성한다.
• 각 서브그래프의 라플라시안 행렬의 고유벡터를 학습 가능한 또는 고정된 기저 함수로 사용하여 노드 특징을 슈퍼노드 표현으로 투영하고 집계한다.
• 각 굴곡 수준에서 표현을 정밀화하기 위해 풀링된 특징에 대해 학습 가능한 변환을 적용한다.
• 그래프 분류를 위한 표준 백프로파게이션과 크로스 엔트로피 손실을 사용해 전체 EigenGCN 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 국소 서브그래프 구조를 통합한 풀링 연산자가 분류 작업을 위한 그래프 표현 학습에 개선을 이끌 수 있는가?
• RQ2 EigenPooling은 평균 또는 최대 풀링과 같은 전통적인 풀링 방법에 비해 구조적 정보를 얼마나 효과적으로 포착하는가?
• RQ3 EigenGCN 프레임워크는 표준 그래프 분류 벤치마크에서 기존 최신 기준 모델에 비해 어느 정도 뛰어난 성능을 보이는가?
• RQ4 EigenPooling이 국소 및 전반적 그래프 구조를 유지할 수 있는 이론적 근거는 무엇인가?
• RQ5 EigenGCN은 다양한 그래프 간의 서브그래프 크기 및 구조적 다양성의 변동에 대해 얼마나 강인한가?

주요 결과

• EigenGCN은 여섯 개인 그래프 분류 벤치마크에서 최신 기준 성능을 달성하며, 대부분의 경우 기존 방법을 능가한다.
• 제안된 EigenPooling 연산자는 표준 풀링 방법이 간과하는 국소 구조 패턴을 포착함으로써 그래프 표현 학습을 크게 향상시킨다.
• 이론적 분석을 통해 EigenPooling이 스펙트럼 분해를 통해 국소 서브그래프 구조와 전반적 그래프 특성을 모두 유지함을 확인한다.
• 경험적 결과는 EigenGCN이 분자 네트워크 및 사회 네트워크를 포함한 다양한 그래프 유형에서 일관되게 성능 향상을 보임을 보여준다.
• EigenPooling을 사용한 계층적 굴곡 과정은 중요한 구조적 정보를 잃지 않으면서도 효과적인 그래프 수준 표현 학습을 가능하게 한다.
• 제거 실험 결과, EigenPooling의 스펙트럼 성분을 제거할 경우 성능에 심각한 하락이 발생함을 확인하여, 이의 구조적 민감성을 검증한다.