[논문 리뷰] Position-aware Graph Neural Networks

Jiaxuan You, Rex Ying외 1명|arXiv (Cornell University)|2019. 06. 11.

Advanced Graph Neural Networks인용 수 88

한 줄 요약

P-GNN은 앵커 세트를 기반으로 한 거리 임베딩을 도입하여 그래프 내 노드 위치를 포착하고, 인덕티브하고 확장 가능하며 특징 인식적인 위치 인식 표현을 가능하게 하여 다양한 작업에서 전통적인 GNN보다 우수한 성능을 발휘합니다.

ABSTRACT

Learning node embeddings that capture a node's position within the broader graph structure is crucial for many prediction tasks on graphs. However, existing Graph Neural Network (GNN) architectures have limited power in capturing the position/location of a given node with respect to all other nodes of the graph. Here we propose Position-aware Graph Neural Networks (P-GNNs), a new class of GNNs for computing position-aware node embeddings. P-GNN first samples sets of anchor nodes, computes the distance of a given target node to each anchor-set,and then learns a non-linear distance-weighted aggregation scheme over the anchor-sets. This way P-GNNs can capture positions/locations of nodes with respect to the anchor nodes. P-GNNs have several advantages: they are inductive, scalable,and can incorporate node feature information. We apply P-GNNs to multiple prediction tasks including link prediction and community detection. We show that P-GNNs consistently outperform state of the art GNNs, with up to 66% improvement in terms of the ROC AUC score.

연구 동기 및 목표

• 그래프의 지역 이웃 구조를 넘어 노드의 위치를 인코딩하는 노드 임베딩의 필요성을 동기화한다.
• 앵커 세트와 거리 가중 집계를 이용해 위치 인식 임베딩을 학습하는 확장 가능하고 인덕티브한 GNN 프레임워크(P-GNN)를 제안한다.
• P-GNN가 전통적 GNN보다 표현력이 더 뛰어나며 빠른 변형(P-GNN-Fast)으로 구현될 수 있음을 보여준다.
• 여러 데이터셋과 작업에서 P-GNN를 실증적으로 평가하여 최신 GNN보다 현저한 성능 향상을 보인다.

제안 방법

• 매 포워드 패스마다 임의의 샘플 k 개의 앵커 세트 S_i를 샘플링해 앵커에 대한 노드 위치를 포착한다.
• 거리 기반 유사도 s(v,u)와 노드 특성을 이용해 각 앵커 세트의 메시지를 계산한 다음, 학습 가능한 함수 Agg_M 와 Agg_S를 통해 집계한다.
• 학습 가능한 가중 벡터 w로 앵커 세트 메시지 행렬 M을 투사해 위치 인식 임베딩 z_v를 형성한다.
• 여러 P-GNN 레이어를 쌓아 표현력을 높이고 위치 인식성을 유지하며 전파를 위한 구조 인식 메시지 h_v를 생성한다.
• 낮은 왜곡 거리 보존을 보장하는 Bourgain의 정리에 기반해 k = O(log^2 n)인 앵커 세트 선정으로 바운딩한다.
• 전통적인 GNN과 비교 가능한 확장 가능 복잡성을 유지하는 근사 거리 계산을 통해 빠른 변형 P-GNN-Fast를 제공한다.

실험 결과

연구 질문

• RQ1 공유된 앵커 세트 집합에 대한 노드 위치를 학습해 구조적으로 동일한 노드를 구분할 수 있는가?
• RQ2 앵커 세트 기반 거리 임베딩이 표준 GNN과 비교해 링크 예측 및 커뮤니티 탐지와 같은 그래프 작업에서 예측 성능을 향상시키는가?
• RQ3 P-GNN의 표현력이 기존 GNN 아키텍처와 비교해 어떠하며, 확장 가능한 빠른 변형으로 구현될 수 있는가?
• RQ4 위치 인식 임베딩과 함께 노드 특성을 사용하는 것이 다운스트림 작업에 어떤 영향을 미치는가?

주요 결과

모델	격자-T	커뮤니티-T	격자	커뮤니티	PPI
GCN	0.698±0.051	0.981±0.004	0.456±0.037	0.512±0.008	0.769±0.002
GraphSAGE	0.682±0.050	0.978±0.003	0.532±0.050	0.516±0.010	0.803±0.005
GAT	0.704±0.050	0.980±0.005	0.566±0.052	0.618±0.025	0.783±0.004
GIN	0.732±0.050	0.984±0.005	0.499±0.054	0.692±0.049	0.782±0.010
P-GNN-F-1L	0.542±0.057	0.930±0.093	0.619±0.080	0.939±0.083	0.719±0.027
P-GNN-F-2L	0.637±0.078	0.989±0.003	0.694±0.066	0.991±0.003	0.805±0.003
P-GNN-E-1L	0.665±0.033	0.966±0.013	0.879±0.039	0.985±0.005	0.775±0.029
P-GNN-E-2L	0.834±0.099	0.988±0.003	0.940±0.027	0.985±0.008	0.808±0.003

• P-GNN은 데이터셋과 작업 전반에서 최신 GNN 변형들을 일관되게 능가하며 보고된 결과에서 최대 66% ROC AUC 개선을 달성한다.
• 앵커 세트를 통한 위치 정보의 통합이 순전히 구조 인식 임베딩보다 의미 있는 향상을 제공함을 애블레이션에서 보여준다.
• P-GNN-Fast는 전체 P-GNN과 비슷한 성능을 달성하면서 전통적인 GNN과 유사한 확장 가능 복잡성을 유지한다.
• 이론적 분석에 따르면 P-GNN은 공유 앵커와의 노드 임베딩의 결합 분포를 활용해 기존 GNN을 일반화하고 표현력을 증가시킨다.
• Bourgain 가이던스에 따른 앵커 세트의 크기(O(log^2 n))는 낮은 왜곡 거리 보존을 가능하게 한다.