[논문 리뷰] pathGCN: Learning General Graph Spatial Operators from Paths

Moshe Eliasof, Eldad Haber외 1명|arXiv (Cornell University)|2022. 07. 15.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 고정된 그래프 라플라시안에 의존하지 않고 무작위 경로에서 표현력 있는 그래프 공간 연산자를 학습하는 새로운 방법 pathGCN을 제안한다. 경로 기반 집합을 통해 공간 커널을 엔드 투 엔드로 훈련시킴으로써, pathGCN은 더 깊고 더 유연한 GCNs를 가능하게 하며 과도한 스무딩을 방지하고 노드 분류 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Graph Convolutional Networks (GCNs), similarly to Convolutional Neural Networks (CNNs), are typically based on two main operations - spatial and point-wise convolutions. In the context of GCNs, differently from CNNs, a pre-determined spatial operator based on the graph Laplacian is often chosen, allowing only the point-wise operations to be learnt. However, learning a meaningful spatial operator is critical for developing more expressive GCNs for improved performance. In this paper we propose pathGCN, a novel approach to learn the spatial operator from random paths on the graph. We analyze the convergence of our method and its difference from existing GCNs. Furthermore, we discuss several options of combining our learnt spatial operator with point-wise convolutions. Our extensive experiments on numerous datasets suggest that by properly learning both the spatial and point-wise convolutions, phenomena like over-smoothing can be inherently avoided, and new state-of-the-art performance is achieved.

연구 동기 및 목표

• 고정된 공간 연산자로 인해 모델의 표현력이 제한되고 깊은 아키텍처에서 과도한 스무딩이 발생하는 GCNs의 한계를 해결한다.
• 표준 GCNs에서 그래프 라플라시안에 의존하는 것을 넘어 데이터에서 직접 공간 연산자를 학습함으로써 이를 극복한다.
• 변동 가능한 개구부와 적응형 계수를 가진 공간 커널을 학습시켜 GCNs가 CNN과 유사한 유연성을 확보한다.
• 고정된 라플라시안을 사용하는 대신 동적 공간 연산자를 학습시킴으로써 깊은 GCNs에서의 과도한 스무딩을 방지한다.
• 공간 및 지점 기반 컨볼루션을 동시에 학습시켜 다양한 그래프 벤치마크에서 성능을 향상시킨다.

제안 방법

• 각 경로가 이웃 노드의 특징을 집계하도록 그래프 상의 무작위 보행(경로) 기반으로 공간 연산자를 정의한다.
• 스토하스틱 최적화를 통해 공간 연산자의 계수를 엔드 투 엔드로 학습시켜 네트워크가 커널을 데이터와 작업에 맞게 적응시킬 수 있도록 한다.
• pathGCN를 세 가지 변형으로 구성한다: 전역(모든 레이어/채널에 공유), 레이어별(채널 간 공유), 깊이 병렬(채널 및 레이어별로 별도)으로, CNN 스타일의 학습을 모방한다.
• 백프로파게이션 중에 경로를 샘플링하는 스토하스틱 경로 훈련 정책을 사용하여 공간 연산의 효율적이고 미분 가능한 학습을 가능하게 한다.
• 학습된 공간 연산자를 학습 가능한 1×1 지점 기반 컨볼루션과 통합하여 전체 GCN 블록을 구성한다.
• 훈련 안정성 향상과 일반화 성능 향상을 위해 인접 행렬에 대칭 정규화와 자기 순환을 적용한다.

실험 결과

연구 질문

• RQ1 고정된 라플라시안 기반 연산자에 비해 무작위 경로에서 공간 연산자를 학습시키는 것이 GCNs의 표현력과 성능을 향상시키는가?
• RQ2 경로 기반 공간 커널 학습이 반복적으로 라플라시안을 적용할 경우 흔히 발생하는 깊은 GCNs에서의 과도한 스무딩을 방지하는가?
• RQ3 다양한 pathGCN의 구성 방식(전역, 레이어별, 깊이 병렬)이 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ4 경로 길이와 샘플된 경로 수가 학습된 공간 연산자의 최종 정확도와 강건성에 어떤 영향을 미치는가?
• RQ5 학습된 공간 커널이 CNN 필터와 유사하게 부드럽게 만들기, 가장자리 검출, 선명하게 하기 등의 다양한 기능을 학습할 수 있는가?

주요 결과

• pathGCN는 Cora, Citeseer, Pubmed 데이터셋에서 최신 기술 성능을 달성하며, 64개의 레이어를 사용한 Cora에서 85.8%의 정확도를 기록하여 이전 방법들을 능가한다.
• 깊이 병렬 변형(pathGCN)이 전역 및 레이어별 변형보다 일관되게 뛰어난 성능을 보이며, 채널별 공간 학습이 표현력을 향상시킨다는 것을 시사한다.
• 과도한 스무딩은 pathGCN에서 본질적으로 방지되며, 64개의 레이어까지 깊은 아키텍처에서도 학습된 비균일한 공간 연산자 덕분이다.
• 경로 길이가 k=7까지 증가함에 따라 성능이 향상되며, 이후에는 정확도가 정체되거나 감소함을 보여 최적의 커널 크기가 존재함을 시사한다.
• 경로 수가 20 이상일 경우 성능 저하가 발생함을 확인하여 너무 많은 확률적 요소가 일반화 성능을 해칠 수 있음을 보여주며, 최적 성능은 p=10에서 달성된다.
• 학습된 공간 커널은 부드럽게 만들기, 가장자리 검출 등의 다양한 행동을 보이며, pathGCN가 작업에 맞는 적응형 공간 연산을 학습할 수 있음을 입증한다.