[논문 리뷰] Bilinear Graph Neural Network with Neighbor Interactions

Hongmin Zhu, Fuli Feng외 5명|arXiv (Cornell University)|2020. 02. 10.

Advanced Graph Neural Networks참고 문헌 39인용 수 14

한 줄 요약

이 논문은 양자 함수 신경망(BGNN)을 제안하며, 이는 이웃 노드 간의 쌍별 상호작용을 양자 함수 집계기법을 사용해 명시적으로 모델링함으로써 노드 표현을 향상시키는 새로운 GNN 프레임워크이다. 선형 집계와 양자 함수 상호작용을 결합함으로써 BGNN은 Cora, Citeseer, Pubmed 데이터셋에서 GCN과 GAT보다 각각 1.6%와 1.5%의 정확도 향상을 달성하며, 준감독 노드 분류에서 성능을 향상시킨다.

ABSTRACT

Graph Neural Network (GNN) is a powerful model to learn representations and make predictions on graph data. Existing efforts on GNN have largely defined the graph convolution as a weighted sum of the features of the connected nodes to form the representation of the target node. Nevertheless, the operation of weighted sum assumes the neighbor nodes are independent of each other, and ignores the possible interactions between them. When such interactions exist, such as the co-occurrence of two neighbor nodes is a strong signal of the target node's characteristics, existing GNN models may fail to capture the signal. In this work, we argue the importance of modeling the interactions between neighbor nodes in GNN. We propose a new graph convolution operator, which augments the weighted sum with pairwise interactions of the representations of neighbor nodes. We term this framework as Bilinear Graph Neural Network (BGNN), which improves GNN representation ability with bilinear interactions between neighbor nodes. In particular, we specify two BGNN models named BGCN and BGAT, based on the well-known GCN and GAT, respectively. Empirical results on three public benchmarks of semi-supervised node classification verify the effectiveness of BGNN -- BGCN (BGAT) outperforms GCN (GAT) by 1.6% (1.5%) in classification accuracy.Codes are available at: https://github.com/zhuhm1996/bgnn.

연구 동기 및 목표

• 기존 GNN이 이웃 노드가 상호 독립적이라고 가정함으로써 잠재적인 상호작용를 忽略하는 한계를 해결한다.
• 이웃 노드 간의 쌍별 상호작용을 명시적으로 캡처함으로써 노드 표현 학습을 향상시킨다.
• 모델의 안정성과 효율성을 보장하기 위해 순열 불변성과 선형 확장 가능성을 동시에 확보하는 양자 함수 집계기법을 설계한다.
• GCN와 GAT 아키텍처에 양자 함수 집계기법을 통합하여 BGCN과 BGAT라는 두 가지 BGNN 변종을 개발한다.
• 표준 준감독 노드 분류 벤치마크에서 BGNN의 유효성을 검증한다.

제안 방법

• 학습 가능한 가중치 행렬을 사용하여 이웃 노드 표현 간의 쌍별 상호작용을 계산하는 양자 함수 집계기법을 제안한다.
• 학습 가능한 융합 파rameter α를 통해 표준 선형 집계(예: GCN 또는 GAT 어텐션)와 양자 함수 집계기법을 융합한다.
• 모든 이웃 쌍을 대칭적으로 처리하여 순열 불변성을 확보함으로써 이웃 순서의 변화에 대해 안정성을 유지한다.
• 고차원 확장을 피하고 쌍별 조합에 국한함으로써 선형 계산 복잡도를 유지한다.
• BGCN과 BGAT를 BGNN의 구체적 구현으로 설계하여, GCN와 GAT의 원래 집계기법을 양자 함수 향상된 버전으로 대체한다.
• 1-호프 및 2-호프 이웃 상호작용을 균형 있게 조절하기 위해 추가적인 학습 가능한 파rameter β를 사용하는 다단계 이웃 집계 전략을 도입한다.

실험 결과

연구 질문

• RQ1 이웃 노드 간의 쌍별 상호작용을 모델링하면 GNN에서 노드 표현 학습이 향상되는가?
• RQ2 표준 선형 집계기법과 비교해 볼 때, 양자 함수 집계기법은 그래프 데이터의 복잡한 비선형 패턴을 얼마나 잘 포착하는가?
• RQ3 제안된 BGNN 프레임워크는 표현력 향상과 함께 순열 불변성과 선형 계산 복잡도를 유지하는가?
• RQ4 희박하게 연결된 노드 또는 레이블 일관성이 있는 이웃을 가진 노드에서, 양자 함수 상호작용은 성능 향상에 얼마나 기여하는가?
• RQ5 선형 집계와 양자 함수 집계 간의 최적의 균형은 무엇이며, 하이퍼파rameter α와 β는 모델 성능에 어떻게 영향을 미치는가?

주요 결과

• Cora, Citeseer, Pubmed 데이터셋에서 BGCN과 BGAT가 GCN과 GAT보다 각각 1.6%와 1.5% 높은 분류 정확도를 기록한다.
• 희박하게 연결된 노드에서 양자 함수 집계기법이 성능 향상에 크게 기여함을 확인하여, 저밀도 이웃 환경에서의 효과성을 입증한다.
• α가 0 또는 1에서 벗어나도록 튜닝할 때 최적의 성능을 달성함을 통해, 양자 함수 집계기법이 선형 집계와의 보완적 역할을 가장 잘 수행함을 보여준다.
• 1-호프 및 2-호프 이웃의 상호작용을 모두 통합함(β를 통해)하면 단일 호프만의 경우보다 더 우수한 성능을 기록함을 확인하여, 다단계 이웃 상호작용 모델링의 유용성을 입증한다.
• BGCN-T는 노이즈 제거 능력이 향상되어, 레이블 일관성이 있는 이웃을 가진 노드를 정확히 분류하면서 일관성이 없는 이웃으로부터 관련 없는 정보를 걸러내는 데 성공한다.
• 이웃 노드가 일관된 레이블을 공유할 경우, 양자 함수 집계기법이 개별 특징을 초월한 의미 있는 구조적 패턴을 효과적으로 포착함을 시사한다.