[논문 리뷰] Bilinear Graph Neural Network with Node Interactions

Hongmin Zhu, Fuli Feng외 5명|arXiv (Cornell University)|2020. 02. 10.

Advanced Graph Neural Networks참고 문헌 22인용 수 2

한 줄 요약

이 논문은 이웃 노드 간의 쌍별 상호작용을 모델링하여 전통적인 가중치 합 집계를 넘어서 노드 표현 학습을 향상시키는 새로운 GNN 프레임워크인 이중성 그래프 신경망(BGNN)을 제안한다. BGNN은 공개 벤치마크에서 반감성 노드 분류 작업에서 성능을 향상시켜 GCN보다 1.6% 높은 정확도와 GAT보다 1.5% 높은 정확도를 달성한다.

ABSTRACT

Graph Neural Network (GNN) is a powerful model to learn representations and make predictions on graph data. Existing efforts on GNN have largely defined the graph convolution as a weighted sum of the features of the connected nodes to form the representation of the target node. Nevertheless, the operation of weighted sum assumes the neighbor nodes are independent of each other, and ignores the possible interactions between them. When such interactions exist, such as the co-occurrence of two neighbor nodes is a strong signal of the target node's characteristics, existing GNN models may fail to capture the signal. In this work, we argue the importance of modeling the interactions between neighbor nodes in GNN. We propose a new graph convolution operator, which augments the weighted sum with pairwise interactions of the representations of neighbor nodes. We term this framework as Bilinear Graph Neural Network (BGNN), which improves GNN representation ability with bilinear interactions between neighbor nodes. In particular, we specify two BGNN models named BGCN and BGAT, based on the well-known GCN and GAT, respectively. Empirical results on three public benchmarks of semi-supervised node classification verify the effectiveness of BGNN -- BGCN (BGAT) outperforms GCN (GAT) by 1.6% (1.5%) in classification accuracy.Codes are available at: this https URL.

연구 동기 및 목표

• 기존 GNN이 이웃 노드가 상호 독립적이라고 가정하는 한계를 해결하기 위해, 이웃 노드 간 잠재적 상호작용을 간과하지 않도록 하기 위해.
• 이웃 노드 특성 간의 이중성 상호작용을 명시적으로 모델링하여 노드 표현 학습을 향상시키기 위해.
• GCN와 GAT 아키텍처를 모두 향상시키는 일반화 가능한 그래프 컨볼루션 연산자를 개발하기 위해.
• 실세계 반감성 노드 분류 작업에서 이웃 상호작용을 통합하는 것이 효과적인지 검증하기 위해.

제안 방법

• 이웃 노드 특성의 가중치 합과 쌍별 이중성 상호작용을 결합한 새로운 그래프 컨볼루션 연산자를 제안한다.
• 이중성 상호작용 모듈을 도입하여 이웃 노드 표현 간의 상호작용 점수를 계산한다.
• 이중성 연산을 두 가지 변형으로 변환한다: GCN 기반의 BGCN과 GAT 기반의 BGAT로, 각각의 주의 및 집계 메커니즘을 유지한다.
• 학습 가능한 파rameter를 사용하여 이중성 변환을 매개변수화하여 엔드 투 엔드 학습을 가능하게 한다.
• 깊은 표현 학습을 위해 스택형 GNN 아키텍처에 새로운 컨볼루션 레이어를 적용한다.
• 라벨 희소성과 함께 반감성 노드 분류를 위해 표준 크로스 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 이웃 노드 간의 쌍별 상호작용을 모델링하면 GNN 내 노드 표현 학습이 향상되는가?
• RQ2 이중성 상호작용을 포함시키면 반감성 노드 분류 작업 성능에 어떤 영향을 미치는가?
• RQ3 이웃 상호작용이 존재할 때 BGNN이 표준 GCN와 GAT보다 벤치마크 데이터셋에서 더 우수한 성능을 내는가?
• RQ4 단순 집계 대비 이중성 상호작용 메커니즘 설계에 대해 BGNN은 얼마나 민감한가?
• RQ5 이중성 메커니즘은 GCN와 GAT와 같은 다양한 GNN 아키텍처로 일반화 가능한가?

주요 결과

• BGNN은 세 가지 공개 반감성 노드 분류 벤치마크에서 표준 GCN와 GAT보다 노드 분류 정확도를 크게 향상시켰다.
• BGCN는 동일한 벤치마크에서 GCN보다 1.6%의 절대 정확도 향상을 달성했다.
• BGAT는 동일한 벤치마크에서 GAT보다 1.5%의 절대 정확도 향상을 달성했다.
• 성능 향상 결과는 표준 GNN이 간과하는 중요한 구조적 신호를 이웃 상호작용 모델링이 포착하고 있음을 시사한다.
• 결과는 이웃 간의 이중성 상호작용이 그래프 표현 학습에 의미 있는 인덕티브 바이어스를 제공한다는 것을 검증한다.
• BGCN와 BGAT를 포함한 BGNN의 코드는 재현성과 향후 연구를 위해 공개되어 있다.