[논문 리뷰] Representation Learning on Graphs with Jumping Knowledge Networks

Keyulu Xu, Chengtao Li외 4명|arXiv (Cornell University)|2018. 06. 09.

Advanced Graph Neural Networks참고 문헌 21인용 수 726

한 줄 요약

JK-Nets는 각 노드에 대해 이웃 범위를 적응적으로 결합하여 표준 GCN/GAT보다 성능을 향상시키고 그래프 전반에서 GraphSAGE 및 GAT와 같은 기본 모델을 지속적으로 상승시킵니다.

ABSTRACT

Recent deep learning approaches for representation learning on graphs follow a neighborhood aggregation procedure. We analyze some important properties of these models, and propose a strategy to overcome those. In particular, the range of "neighboring" nodes that a node's representation draws from strongly depends on the graph structure, analogous to the spread of a random walk. To adapt to local neighborhood properties and tasks, we explore an architecture -- jumping knowledge (JK) networks -- that flexibly leverages, for each node, different neighborhood ranges to enable better structure-aware representation. In a number of experiments on social, bioinformatics and citation networks, we demonstrate that our model achieves state-of-the-art performance. Furthermore, combining the JK framework with models like Graph Convolutional Networks, GraphSAGE and Graph Attention Networks consistently improves those models' performance.

연구 동기 및 목표

• 그래프 신경망에서 고정 범위 이웃 집계의 한계에 대한 동기 부여 및 분석.
• 노드당 다중 이웃 범위에서 정보를 선택적으로 적응적으로 선택하기 위해 JK-Nets를 제안합니다.
• 기본 모델(GCN, GraphSAGE, GAT)과 결합될 때 JK-Nets가 성능을 향상시키는지 보여줍니다.
• Citeseer, Cora, Reddit, PPI 등 여러 데이터셋에서 실증적으로 평가하여 그래프 구조 전반에 걸친 강건성을 보여줍니다.

제안 방법

• 마지막 층 집계로 여러 레이어의 표현을 선택적으로 결합하는 Jumping Knowledge(JK) 프레임워크를 소개합니다.
• 다음 세 가지 JK 집계 옵션을 제공합니다: Concat, MaxPooling, 및 LSTM-주의를 사용하여 다층 표현을 융합합니다.
• 집계의 영향 분포와 무작위 보행의 이론적 연결을 확립; JK-Net with max-pooling은 k-스텝 무작위 보행 분포의 혼합을 유도함을 증명합니다.
• JK가 GCN, GraphSAGE, GAT 아키텍처에 연결될 때의 호환성 및 향상을 보여줍니다.

실험 결과

연구 질문

• RQ1 적응적이고 노드 개별의 이웃 범위 선택이 고정 범위 집계보다 그래프 신경망에서 더 나은가?
• RQ2 JK-Nets는 그래프에서 정보 확산의 무작위 보행 해석과 어떤 관련이 있나?
• RQ3 다양한 기본 모델과 결합되었을 때 JK-Nets가 서로 다른 그래프 도메인에서 일관되게 성능을 개선하는가?
• RQ4 인용, 사회/레딧, 생물학 네트워크에서 JK-Nets의 실증적 이득은 무엇인가?

주요 결과

• JK-Nets는 Citeseer와 Cora 데이터셋에서 테스트된 레이어 구성을 통해 GCN 및 GAT 베이스라인보다 우수한 성능을 보인다.
• Citeseer에서, 간단한 집계로 JK-Nets가 1레이어에서 최대 0.78의 정확도에 도달하며 6레이어에서도 경쟁력 있는 성능을 보인다(예: JK-MaxPool 1: 77.7, JK-Concat 1: 78.3, JK-LSTM 2: 74.7).
• Cora에서, JK-Nets는 6레이어에서 최상의 성능을 달성한다(예: JK-MaxPool 6: 89.6, JK-Concat 6: 89.1, JK-LSTM 1: 85.8).
• Reddit에서, GraphSAGE 베이스와 MaxPool+Concat 집계가 마이크로-F1을 최대 0.965까지 달성하여 베이스라인 GraphSAGE보다 향상.
• PPI에서, LSTM-주의를 갖춘 JK-Nets가 베이스라인(GAT, GraphSAGE 변형)보다 더 높은 Micro-F1을 0.969–0.976까지 구성에 따라 달성.
• JK-LSTM 및 다른 적응형 JK 변형은 다양한 서브그래프 구조(PPI 등)를 가진 그래프에서 특히 두드러지는데, 고정 범위 방법은 성능이 떨어진다.