[논문 리뷰] Multi-Channel Graph Convolutional Networks

Kaixiong Zhou, Qingquan Song외 4명|arXiv (Cornell University)|2019. 12. 17.

Advanced Graph Neural Networks참고 문헌 26인용 수 7

한 줄 요약

이 논문은 계층적 그래프 신경망인 다중채널 그래프 컨볼루션 네트워크(MuchGCN)를 제안한다. 이는 각 레이어에서 다수의 그래프 채널을 학습하여 다양한 노드 특성을 유지하고 풀링 과정에서의 정보 손실을 완화한다. 학습 가능한 필터와 채널 간 메시지 전달을 통해 MuchGCN는 여러 벤치마크에서 그래프 분류 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph neural networks (GNN) has been demonstrated to be effective in classifying graph structures. To further improve the graph representation learning ability, hierarchical GNN has been explored. It leverages the differentiable pooling to cluster nodes into fixed groups, and generates a coarse-grained structure accompanied with the shrinking of the original graph. However, such clustering would discard some graph information and achieve the suboptimal results. It is because the node inherently has different characteristics or roles, and two non-isomorphic graphs may have the same coarse-grained structure that cannot be distinguished after pooling. To compensate the loss caused by coarse-grained clustering and further advance GNN, we propose a multi-channel graph convolutional networks (MuchGCN). It is motivated by the convolutional neural networks, at which a series of channels are encoded to preserve the comprehensive characteristics of the input image. Thus, we define the specific graph convolutions to learn a series of graph channels at each layer, and pool graphs iteratively to encode the hierarchical structures. Experiments have been carefully carried out to demonstrate the superiority of MuchGCN over the state-of-the-art graph classification algorithms.

연구 동기 및 목표

• 비동형 그래프가 단일 경로 풀링에 의해 구조적으로 구분 불가능한 군집화된 구조로 통합되면서 발생하는 정보 손실 문제를 해결한다.
• 고정된 이웃 순서와 형태에 의존하는 표준 GNN의 한계를 극복한다. 이는 노드의 차수와 이웃의 순서가 변할 수 있는 일반적인 그래프에 적용되지 않는다.
• 병렬 그래프 채널을 통해 동시에 여러 개의 다릅니다만 군집화된 그래프 구조를 인코딩함으로써 다중 시각 표현 학습을 가능하게 한다.
• 사전 정의된 국소 패치 구조에 의존하지 않고도 다양한 그래프 시각에서 고유한 노드 특성을 유지할 수 있는 학습 가능한, 순서에 민감하지 않은 컨볼루션 메커니즘을 설계한다.

제안 방법

• 각 채널이 이웃 특징을 기반으로 학습 가능한 필터를 사용하여 노드 임베딩의 별개 표현을 학습하는 다중채널 그래프 컨볼루션 메커니즘을 정의한다.
• 다양한 그래프 채널 간의 특징을 학습 가능한 변환을 통해 집계하는 채널별 메시지 전달 메커니즘을 도입하여 채널 간 특징 융합을 가능하게 한다.
• 각 레이어에서 미분 가능 풀링을 적용하여 점점 더 군집화된 그래프 표현의 시퀀스를 생성하며, 계층적 구조 정보를 유지한다.
• 모든 레이어와 채널의 표현을 연결한 후 글로벌 풀링과 분류를 수행하여 최종 그래프 임베딩을 구성한다.
• 노드 다중집합 표현의 보편적 근사 가능성을 보장하기 위해 비선형 활성화 함수(예: ReLU)와 다층 퍼셉트론(MLPs)을 사용하여 집계 함수를 모델링한다.
• 학습 가능한 필터를 사용할 경우 원래의 다중집합이 다를지라도 스케일된 다중집합이 여전히 구별 가능함을 증명함으로써 노드 임베딩의 유일성을 확보한다.

실험 결과

연구 질문

• RQ1 계층적 풀링 과정에서 다양한 그래프 시각에서 노드의 다양한 특성을 어떻게 유지할 수 있는가?
• RQ2 일반적인 그래프에서 이웃의 구조가 변할 수 있는 상황을 고려할 때, 학습 가능한, 순서에 민감하지 않은 컨볼루션 메커니즘을 어떻게 설계할 수 있는가?
• RQ3 여러 개의 군집화된 그래프 표현을 효과적으로 조합하여 그래프 분류 성능을 향상시킬 수 있는가?
• RQ4 다중채널 학습이 단일 경로 풀링에서 충돌할 수 있는 비동형 그래프를 구별하는 데 어떤 영향을 미치는가?
• RQ5 채널 간 메시지 전달을 어떻게 수식화할 수 있을까? 이는 특징의 유일성을 유지하면서도 채널 간 특징 융합을 가능하게 해야 한다.

주요 결과

• MuchGCN는 여러 그래프 분류 벤치마크에서 기존의 계층적 GNN 및 다중그래프 GNN을 능가하는 최신 기술 수준의 성능을 달성한다.
• 다양한 그래프 채널 덕분에 그래프 이somorphism 문제에 대해 강건함을 보이며, 비동형 그래프가 동일한 군집 표현으로 합쳐지는 것을 방지한다.
• MuchGCN의 실행 시간은 메시지 전달 단계 수 $K$와 채널 확장 수 $C_l$에 따라 선형적으로 증가함을 확인하여 이론적 시간 복잡도 분석과 일치한다.
• 학습 가능한 필터와 바이어스 스케일링을 통해 고유한 노드 표현을 성공적으로 유지함으로써, 서로 다른 이웃 임베딩 다중집합이 여전히 식별 가능함을 입증한다.
• 실험 결과 다중채널, 다중레이어 그래프 임베딩을 연결함으로써 단일채널 또는 단일경로 풀링 기반 모델 대비 분류 정확도가 크게 향상됨을 보였다.
• 제거 실험을 통해 다중채널 설계와 채널 간 메시지 전달이 성능 향상에 필수적임을 확인하였으며, 각 구성 요소가 표현 학습에 독자적인 기여를 한다.