[논문 리뷰] Just Jump: Dynamic Neighborhood Aggregation in Graph Neural Networks

Matthias Fey|arXiv (Cornell University)|2019. 04. 09.

Advanced Graph Neural Networks참고 문헌 28인용 수 26

한 줄 요약

이 논문은 다중 헤드 스케일드 도트프로덕트 어텐션을 사용하여 여러 레이어에 걸쳐 이웃 임베딩을 동적으로 집계하는 그래프 신경망 방법인 동적 이웃 집계(DNA)를 제안한다. 이는 노드 적응형 수신 영역을 가능하게 한다. 어텐션과 그룹화된 선형 투영을 조합함으로써 DNA는 전이형 노드 분류 벤치마크에서 표준 GNN 스태킹 및 점프 지식 네트워크를 능가하며, 더 큰 은닉 차원을 사용할 경우 최대 3%의 정확도 향상을 달성한다.

ABSTRACT

We propose a dynamic neighborhood aggregation (DNA) procedure guided by (multi-head) attention for representation learning on graphs. In contrast to current graph neural networks which follow a simple neighborhood aggregation scheme, our DNA procedure allows for a selective and node-adaptive aggregation of neighboring embeddings of potentially differing locality. In order to avoid overfitting, we propose to control the channel-wise connections between input and output by making use of grouped linear projections. In a number of transductive node-classification experiments, we demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 스택된 GNN에서 고정된 수신 영역과 표현의 소실이라는 한계를 해결하기 위해.
• 다양한 국소성과 깊이에 걸쳐 노드 적응형 이웃 임베딩 집계를 가능하게 하기 위해.
• 동적이고 작업에 특화된 수신 영역을 학습하여 전이형 노드 분류에서 일반화 능력과 성능을 향상시키기 위해.
• 어 attention 기반 GNN에서 그룹화된 선형 투영이 정규화 기법으로서의 효과를 조사하기 위해.

제안 방법

• DNA는 다중 헤드 스케일드 도트프로덕트 어텐션을 사용하여 이웃의 모든 이전 레이어 임베딩을 참조함으로써 노드 표현을 계산한다.
• 어텐션 메커니즘은 다양한 이웃 깊이에서의 기여도를 동적으로 가중함으로써 국소적이고 글로벌한 정보의 선택적 집계를 가능하게 한다.
• 그룹화된 선형 투영이 채널 간 연결을 제어하여 과적합을 줄이고 더 큰 은닉 차원을 가능하게 한다.
• 최종 노드 표현은 모든 이전 레이어를 통해 이웃 임베딩을 집계하고 학습 가능한 어텐션 가중치를 사용하여 형성된다.
• 이 방법은 GNN 프레임워크에 통합되어 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련된다.
• 메시지 전파 중에 각 노드별로 동적 집계가 가능한 점에서 표준 GNN 스태킹 및 점프 지식을 초월한다.

실험 결과

연구 질문

• RQ1 고정된 집계 또는 점프 지식과 비교할 때 어텐션을 사용한 동적 이웃 집계가 GNN 성능 향상에 기여하는가?
• RQ2 그룹화된 선형 투영은 일반화 및 확장성 측면에서 어텐션 기반 GNN에 어떤 영향을 미치는가?
• RQ3 노드 적응형, 다중 깊이 집계를 允허함으로써 전이형 노드 분류 작업에서 더 나은 표현 학습이 이루어지는가?
• RQ4 더 큰 은닉 차원은 어텐션 기반 GNN에서 그룹화된 투영으로부터 어느 정도의 이점을 얻는가?

주요 결과

• DNA는 모든 데이터셋에서 표준 GNN 스태킹(JK-None) 및 점프 지식 변종(JK-Concat, JK-Pool, JK-LSTM)을 능가하며, 최대 3%포인트의 성능 향상을 달성한다.
• Cora에서 g=16을 사용한 DNA는 86.15% ± 0.57의 정확도를 기록하여 최고의 JK-LSTM 결과인 78.08% ± 1.53를 초월한다.
• 그룹화된 투영의 사용은 성능 향상에 상당한 기여를 하였다: g=16을 사용한 DNA는 PubMed에서 94.64% ± 0.15의 정확도를 기록하여 g=1일 때의 94.02% ± 0.17보다 뛰어나다.
• DNA의 어텐션 메커니즘은 초기 표현에 강한 의존성을 보였지만, 특정 노드에 대해서는 깊은 레이어의 정보도 핵심적으로 활용함을 확인하여 동적 집계의 타당성을 입증하였다.
• 영향력 분석을 통해 DNA는 GCN-JK-Pool가 즉각적인 이웃에 국한되는 것과 달리 먼 노드의 정보를 집계하는 것으로 확인되었다.
• 더 큰 은닉 차원을 사용할 경우, 특히 그룹화된 투영과 결합했을 때 최고의 성능가를 기록하였으며, 이는 그들이 효과적인 정규화 기법으로서의 역할을 한다는 것을 시사한다.