[논문 리뷰] Graph Node-Feature Convolution for Representation Learning

Li Zhang, Heda Song외 2명|arXiv (Cornell University)|2018. 11. 30.

Advanced Graph Neural Networks참고 문헌 24인용 수 7

한 줄 요약

이 논문은 표본화된 노드 특성 맵에 2차원 컨볼루션을 적용한 후 표준 GCN에 입력함으로써 노드 표현 학습을 향상시키는 새로운 그래프 신경망 NFC-GCN을 제안한다. 특성과 이웃을 2차원 격자로 간주하고 컨볼루션을 통해 적응형 가중치를 학습함으로써, NFC-GCN은 준감독 학습 기반의 노드 분류에서 GCN과 GAT을 능가하는 성능을 달성하며, 수렴 속도가 빠르고 더 깊은 아키텍처를 지원한다.

ABSTRACT

Graph convolutional network (GCN) is an emerging neural network approach. It learns new representation of a node by aggregating feature vectors of all neighbors in the aggregation process without considering whether the neighbors or features are useful or not. Recent methods have improved solutions by sampling a fixed size set of neighbors, or assigning different weights to different neighbors in the aggregation process, but features within a feature vector are still treated equally in the aggregation process. In this paper, we introduce a new convolution operation on regular size feature maps constructed from features of a fixed node bandwidth via sampling to get the first-level node representation, which is then passed to a standard GCN to learn the second-level node representation. Experiments show that our method outperforms competing methods in semi-supervised node classification tasks. Furthermore, our method opens new doors for exploring new GCN architectures, particularly deeper GCN models.

연구 동기 및 목표

• GCN이 집합 과정 동안 모든 이웃과 특성을 동일하게 취급하는 데서 비롯하는 한계를 해결하기 위해.
• 구조화된 노드 특성 맵에서 컨볼루션 연산을 가능하게 하여 표현 학습을 향상시키기 위해.
• 학습 가능한, 미분 가능한 노드 특성 컨볼루션 레이어를 도입함으로써 더 깊은 GCN 아키텍처를 탐색하기 위해.
• 기존의 GCN 변종인 GCN, GAT, GraphSAGE와 비교해 더 높은 성능과 더 빠른 수렴을 달성하기 위해.

제안 방법

• 각 노드에 대해 이웃 샘플링을 적용하여 고정 크기의 정규 이웃 구조를 형성하고, 중심 노드와 그 샘플된 이웃들로부터 2차원 특성 맵을 구성한다.
• 노드 특성 컨볼루션(NFC) 레이어는 1차원 또는 2차원 컨볼루션 필터를 2차원 특성 맵에 적용하여 특성과 이웃 간의 적응형 가중치를 학습한다.
• NFC 레이어의 출력은 국소적이고 구조적인 특성과 이웃 패턴을 포착하는 1단계 노드 표현을 생성한다.
• 이 1단계 표현은 이후 표준 GCN 레이어에 입력되어 최종적인 보완된 노드 표현을 생성하며, 후속 작업에 활용된다.
• 모델 전체는 엔드 투 엔드로 훈련되며, NFC 레이어의 필터 가중치는 GCN 파ameters와 함께 동시에 학습된다.
• 이 아키텍처는 다중 NFC 레이어의 스태킹을 지원하며, 그래프 기반의 CNN 스타일 학습을 모방할 수 있다.

실험 결과

연구 질문

• RQ1 노드 특성 맵에 2차원 컨볼루션을 적용함으로써 표준 GCN 집합 방식을 초월한 노드 표현 학습 향상이 가능한가?
• RQ2 컨볼루션을 통한 적응형 특성 가중치 학습이 동일 가중치 또는 어텐션 기반 이웃 가중치보다 더 높은 성능을 낼 수 있는가?
• RQ3 준감독 학습 기반의 노드 분류에서 NFC-GCN이 GCN과 GAT보다 더 빠른 수렴과 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 NFC 레이어를 활용해 얼마나 깊은 모델을 구축할 수 있으며, 이는 성능 안정성 향상에 기여하는가?
• RQ5 2단계 GCN 레이어 없이도 1단계 NFC 표현만으로도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• NFC-GCN은 Cora, Citeseer, PubMed 인용 네트워크에서 최신 기준 성능을 달성하였으며, 각각 88.30%, 78.52%, 88.23%의 테스트 정확도를 기록하여 GCN과 GAT을 능가했다.
• 1단계 NFC 표현만으로도 Cora에서 86.58%의 정확도를 달성하여 강력한 내재된 표현 능력을 입증했다.
• NFC-GCN은 약 50개의 훈련 에포크 내에 수렴하였으며, GCN과 GAT이 약 100개의 에포크가 필요로 한 것과 비교해 훨씬 빠른 수렴 속도를 보였다.
• 정확도 및 손실 측면에서 더 안정적인 훈련 곡선을 보여, 더 나은 최적화 행동을 의미한다.
• 깊이가 5개의 GCN 레이어까지 가능한 더 깊은 NFC-GCN 모델은 표준 GCN 대비 성능 변동이 적어 더 높은 내구성을 보였다.
• 제거 실험 결과 NFC 레이어의 기여가 뚜렷하게 확인되었으며, GCN 레이어 수를 1에서 5로 늘일 때 테스트 정확도가 1.72–3.21% 향상되었다.