[논문 리뷰] Node2Seq: Towards Trainable Convolutions in Graph Neural Networks

Hao Yuan, Shuiwang Ji|arXiv (Cornell University)|2021. 01. 06.

Advanced Graph Neural Networks참고 문헌 40인용 수 5

한 줄 요약

이 논문은 주변 노드에 대해 학습 가능한 가변적인 컨볼루션 가중치를 가능하게 하는 새로운 그래프 신경망 레이어인 Node2Seq을 제안한다. 이는 주목적 기반 순서 정렬과 1차원 컨볼루션 신경망을 통해 달성된다. 학습 가능한 주목적 점수와 적응형 비국소 정보를 통합함으로써, Node2Seq는 노드 분류 벤치마크에서 최신 기술 수준의 성능을 달성하며, GCN, GAT 및 기타 베이스라인보다 일관되게 향상된 성능을 보인다.

ABSTRACT

Investigating graph feature learning becomes essentially important with the emergence of graph data in many real-world applications. Several graph neural network approaches are proposed for node feature learning and they generally follow a neighboring information aggregation scheme to learn node features. While great performance has been achieved, the weights learning for different neighboring nodes is still less explored. In this work, we propose a novel graph network layer, known as Node2Seq, to learn node embeddings with explicitly trainable weights for different neighboring nodes. For a target node, our method sorts its neighboring nodes via attention mechanism and then employs 1D convolutional neural networks (CNNs) to enable explicit weights for information aggregation. In addition, we propose to incorporate non-local information for feature learning in an adaptive manner based on the attention scores. Experimental results demonstrate the effectiveness of our proposed Node2Seq layer and show that the proposed adaptively non-local information learning can improve the performance of feature learning.

연구 동기 및 목표

• 기존 그래프 신경망(GCN, GAT 등)에서 고정되거나 명시되지 않은 주변 노드 가중치 부족 문제를 해결하기 위해.
• 특성 집합 과정 중 주변 노드에 대해 학습 가능한 동적 컨볼루션 가중치를 가능하게 하기 위해.
• 그래프 표현 학습에서 먼 노드 또는 비국소 노드를 무시함으로써 발생하는 정보 손실을 완화하기 위해.
• 주목적 점수에 기반해 적응형으로 비국소 노드 정보를 통합할 수 있는 메커니즘을 개발하기 위해.
• GNN 내에서 새로운 학습 가능한 컨볼루션 레이어를 통해 노드 특징 학습 성능을 향상시키기 위해.

제안 방법

• 각 대상 노드에 대해 주목적 기반 순서 정렬을 통해 학습 가능한 순서를 생성한다.
• 정렬된 주변 노드 특징에 1차원 컨볼루션 신경망(CNN)을 적용하여 각 주변 노드에 대한 명시적이고 학습 가능한 가중치를 학습한다.
• 모든 주변 노드 특징을 통합하는 글로벌 리더아웃 기능을 통합하여, degree에 관계없이 모든 주변 노드의 정보를 유지한다.
• 주목적 점수에 기반해 동적 가중치 요소를 학습하여 비국소 노드 정보를 적응적으로 통합한다.
• 잔차 연결을 통합하고 여러 레이어를 스태킹하여 깊이 있는 GNN 아키텍처를 구축한다.
• 학습 가능한 가중치 행렬과 비선형 활성화 함수를 사용하여 메시지 전달을 통해 노드 표현을 업데이트한다.

실험 결과

연구 질문

• RQ1 주변 노드에 대해 학습 가능한 컨볼루션 가중치가 GNN 내 노드 표현 학습에 향상 효과를 줄 수 있는가?
• RQ2 주목적 기반 주변 노드 순서 정렬이 그래프 신경망 성능에 어떤 영향을 미치는가?
• RQ3 비국소 정보를 통합할 경우 노드 분류 정확도 향상 정도는 어느 정도인가?
• RQ4 1차원 CNN 구성 요소의 다양한 커널 크기는 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 적응형 비국소 메커니즘은 다양한 그래프 데이터셋에서 일관되게 성능 향상을 이끌 수 있는가?

주요 결과

• Node2Seq는 모든 6개의 벤치마크 데이터셋에서 GCN, GAT 및 기타 베이스라인을 초월하여, Cora-F에서 84.0% ± 0.6의 정확도를 달성했으며, 이는 GCN의 81.6%보다 높은 성능이다.
• 비국소 정보를 적응적으로 통합한 모델(Node2Seq_g)은 국소 정보만 고려한 버전(Node2Seq_l)보다 유의미하게 뛰어난 성능을 보이며, 비국소 맥락의 가치를 입증한다.
• Squirrel 데이터셋에서 Node2Seq는 58.8% ± 1.4의 정확도를 기록했으며, 동일한 아키텍처를 가진 GCN-베이스라인 모델의 56.5%를 초월한다.
• 최적의 커널 크기는 데이터셋에 따라 다름: Squirrel에서는 k=3이 최고 성능을 내지만, Cora에서는 k=10까지 커널 크기가 커질수록 성능 향상이 관찰된다.
• 제거 실험 결과 성능 향상의 주요 원인은 Node2Seq 레이어 자체임을 확인하였으며, GCN 레이어로 대체할 경우 3개의 데이터셋에서 성능 저하가 발생함을 확인하였다.
• 모든 커널 크기에서 제안된 방법이 경쟁적인 성능을 유지함으로써, 강건성과 일반화 능력을 입증한다.