[논문 리뷰] Dual-Primal Graph Convolutional Networks

Federico Monti, Oleksandr Shchur외 4명|arXiv (Cornell University)|2018. 06. 03.

Advanced Graph Neural Networks참고 문헌 40인용 수 36

한 줄 요약

이 논문은 이중-이중 그래프 컨볼루션 네트워크(DPGCNN)를 제안하며, 이는 정점과 간선의 특징을 풍부하게 학습하기 위해 원본 그래프와 그 이중 그래프(line graph)에서 번갈아가며 컨볼루션을 수행하는 새로운 GCN 아키텍처이다. 이중 그래프를 통해 이웃 정보를 고려한 간선 표현을 활용함으로써, DPGCNN는 GAT를 일반화하고 파rameter 수의 최소 증가로 노드 분류, 링크 예측, 그래프 유도 행렬 완성 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In recent years, there has been a surge of interest in developing deep learning methods for non-Euclidean structured data such as graphs. In this paper, we propose Dual-Primal Graph CNN, a graph convolutional architecture that alternates convolution-like operations on the graph and its dual. Our approach allows to learn both vertex- and edge features and generalizes the previous graph attention (GAT) model. We provide extensive experimental validation showing state-of-the-art results on a variety of tasks tested on established graph benchmarks, including CORA and Citeseer citation networks as well as MovieLens, Flixter, Douban and Yahoo Music graph-guided recommender systems.

연구 동기 및 목표

• 그래프 어텐션 메커니즘이 이웃 환경을 忽시하는 한계를 해결하기 위해 이중 그래프 정보를 통합하는 것.
• 원본 그래프와 이중 그래프를 모두 활용하여 정점과 간선의 특징을 동시에 학습하는 GCN 아키텍처를 개발하는 것.
• 간선 수준의 맥락을 강화함으로써 메시지 전달을 풍부하게 하여 노드 분류, 링크 예측, 행렬 완성 작업의 성능을 향상시키는 것.
• 로컬 이웃 구조에 따라 어텐션 점수가 의존하도록 함으로써 GAT 메커니즘을 일반화하는 것.

제안 방법

• 원본 그래프와 그 이중 그래프 사이에서 그래프 컨볼루션 연산을 번갈아 수행하며, 이중 그래프에서는 간선를 노드로 표현한다.
• 이중 그래프에 적용된 어텐션 메커니즘을 통해 이웃을 고려한 간선 중요도를 계산한다.
• 로컬 이웃 구조에 따라 의존하는 어텐션 점수를 계산하기 위해 이중 그래프에서 다중 헤드 어텐션을 사용한다.
• 원본 그래프에는 차수 4의 다항식 필터를 적용하고, 이중 그래프에서 메시지 전달을 통해 간선 표현을 학습한다.
• 행렬 완성 작업을 위해 분리 가능한 순환 MGCNN 프레임워크를 사용하며, 다중 그래프의 공간적 특징과 RNN 기반 순차 예측을 결합한다.
• 특히 대규모 데이터셋에서 계산 비용을 줄이기 위해 이중 그래프의 스파arsified 버전을 사용한다.

실험 결과

연구 질문

• RQ1 원본 그래프와 이중 그래프에서의 학습이 그래프 표현 학습 작업의 성능 향상에 기여하는가?
• RQ2 이웃 정보를 반영한 간선 특징을 통합할 경우 GCN 내 어텐션 메커니즘 성능에 어떤 영향을 미치는가?
• RQ3 이중-원본 컨볼루션 아키텍처가 표준 벤치마크에서 기존의 GAT 기반 모델을 일반화하고 능가할 수 있는가?
• RQ4 이중 그래프 학습이 추천 시스템의 행렬 완성 작업에 어떤 영향을 미치는가?
• RQ5 기존 GCN보다 유의미하게 더 많은 파라미터가 필요한가?

주요 결과

• DPGCNN는 CORA와 Citeseer 인용 네트워크에서 노드 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.
• MovieLens 데이터셋에서 DPGCNN는 RMSE 0.915를 기록하여 GAT(0.929)와 다른 기준 모델들을 능가한다.
• Flixster에서 DPGCNN는 RMSE 0.902를 기록하여 GAT의 0.931을 넘어서며 성능을 뛰어넘는다.
• Douban과 Yahoo Music에서 DPGCNN는 각각 RMSE 0.789와 21.970를 기록하며, GAT 및 표준 행렬 완성 방법을 압도한다.
• MovieLens에서 DPGCNN는 25K개의 파라미터만을 사용하며(GAT의 23K와 유사하므로), 성능 향상에도 불구하고 파라미터 증가가 최소한이다.
• 표 5는 DPGCNN가 GAT-MGCNN와 거의 동일한 파라미터 수를 가지며, 효율적인 파라미터화를 확인한다.