[논문 리뷰] Graph Learning with 1D Convolutions on Random Walks.

Jan Toenshoff, Martin Ritzert외 2명|arXiv (Cornell University)|2021. 02. 17.

Advanced Graph Neural Networks참고 문헌 52인용 수 5

한 줄 요약

CRaWl은 메시지 전달 기반 GNN과 다름없이, 무작위 보행으로 생성된 부분그래프에 1차원 컨볼루션을 적용하는 새로운 그래프 신경망을 제안한다. 효율적이고 확장 가능한 아키텍처를 통해 모티프 수세기와 무작위 보행 샘플링을 융합함으로써 그래프 분류 및 회귀 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

We propose CRaWl (CNNs for Random Walks), a novel neural network architecture for graph learning. It is based on processing sequences of small subgraphs induced by random walks with standard 1D CNNs. Thus, CRaWl is fundamentally different from typical message passing graph neural network architectures. It is inspired by techniques counting small subgraphs, such as the graphlet kernel and motif counting, and combines them with random walk based techniques in a highly efficient and scalable neural architecture. We demonstrate empirically that CRaWl matches or outperforms state-of-the-art GNN architectures across a multitude of benchmark datasets for classification and regression on graphs.

연구 동기 및 목표

• 기존의 메시지 전달 메커니즘을 피하는 새로운 그래프 신경망 아키텍처를 개발하는 것.
• 무작위 보행과 부분그래프 모티프를 활용하여 개선된 그래프 표현 학습을 달성하는 것.
• 1D 컨볼루션의 효율성과 부분그래프 수세기 기법을 융합하여 확장 가능한 그래프 학습을 구현하는 것.
• 기본 그래프 벤치마크 데이터셋에서 경쟁력 있거나 우수한 성능을 달성하는 것.

제안 방법

• 입력 그래프에서 무작위 보행을 수행하여 작은 부분그래프를 생성한다.
• 각 부분그래프는 시퀀스로 간주되며 1차원 컨볼루션 신경망(CNN)에 입력된다.
• 1D CNN은 각 부분그래프 내의 노드 및 간선 시퀀스로부터 局부 구조 패턴을 학습한다.
• 이 아키텍처는 엔드 투 엔드로 훈련 가능하며 대규모 그래프에 대한 확장성에 최적화되어 있다.
• 그래프릿 커널과 모티프 수세기 원리를 융합하여 학습된 표현에서 구조적 모티프를 강조한다.

실험 결과

연구 질문

• RQ1 메시지 전달 없이도, 무작위 보행에 의해 유도된 부분그래프에 1D 컨볼루션을 적용하여 효과적으로 그래프 표현을 학습할 수 있는가?
• RQ2 CRaWl의 성능은 표준 그래프 벤치마크 데이터셋에서 최신 기술(SOTA) GNN과 비교해 어떻게 되는가?
• RQ3 모티프 수세기와 무작위 보행 샘플링을 융합할 경우 그래프 학습의 일반화 능력은 어느 정도 향상되는가?

주요 결과

• CRaWl은 여러 그래프 분류 및 회귀 벤치마크에서 최신 기술(SOTA) GNN 아키텍처와 비슷하거나 뛰어난 성능을 달성한다.
• 1D 컨볼루션을 부분그래프 시퀀스에 효율적으로 적용함으로써 강력한 확장성을 보인다.
• 무작위 보행과 모티프 기반 부분그래프를 활용함으로써, 후속 작업에 효과적인 구조적 패턴을 포착한다.
• 다양한 그래프 데이터셋에서 경쟁력 있는 성능을 보이며, 광범위한 적용 가능성을 시사한다.