[논문 리뷰] MM-GNN: Mix-Moment Graph Neural Network towards Modeling Neighborhood Feature Distribution

Wendong Bi, Lun Du외 4명|arXiv (Cornell University)|2022. 08. 15.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 단일 통계량(예: 평균, 최댓값) 대신 다중 순서 모멘트를 사용하여 이웃 특징 분포를 모델링하는 새로운 그래프 신경망 MM-GNN을 제안한다. 다중 순서 모멘트 임베딩과 요소별 어텐션 기반 모멘트 어댑터를 결합함으로써 MM-GNN은 고차원 모멘트를 적응적으로 가중하여 15개의 실세계 그래프(사회망 및 인용 네트워크 포함)에서 최신 기준 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have shown expressive performance on graph representation learning by aggregating information from neighbors. Recently, some studies have discussed the importance of modeling neighborhood distribution on the graph. However, most existing GNNs aggregate neighbors' features through single statistic (e.g., mean, max, sum), which loses the information related to neighbor's feature distribution and therefore degrades the model performance. In this paper, inspired by the method of moment in statistical theory, we propose to model neighbor's feature distribution with multi-order moments. We design a novel GNN model, namely Mix-Moment Graph Neural Network (MM-GNN), which includes a Multi-order Moment Embedding (MME) module and an Element-wise Attention-based Moment Adaptor module. MM-GNN first calculates the multi-order moments of the neighbors for each node as signatures, and then use an Element-wise Attention-based Moment Adaptor to assign larger weights to important moments for each node and update node representations. We conduct extensive experiments on 15 real-world graphs (including social networks, citation networks and web-page networks etc.) to evaluate our model, and the results demonstrate the superiority of MM-GNN over existing state-of-the-art models.

연구 동기 및 목표

• 기존 GNN이 이웃 집합화에 단일 순서 통계량(예: 평균, 최댓값)에 의존함으로써 전체 특징 분포를 포착하지 못하는 한계를 해결한다.
• 그래프에서 노드 표현을 구별하는 데 있어 평균과 분산을 초월한 고차원 모멘트 통계량의 중요성을 조사한다.
• 이웃 특징의 다중 순서 모멘트를 명시적으로 모델링하여 더 rich한 분포 정보를 유지하는 GNN 아키텍처를 설계한다.
• 각 노드별로 다른 모멘트 순서에 대한 중요도를 동적으로 할당하는 적응형 어텐션 메커니즘을 도입하여 표현 학습을 향상시킨다.
• 다양한 그래프 유형과 다양한 훈련 데이터 비율에 걸쳐 제안된 방법의 효과성과 강건성을 입증한다.

제안 방법

• 각 노드의 이웃 특징에 대해 유한한 순서 K 이하의 다중 순서 모멘트를 계산하는 다중 순서 모멘트 임베딩(MME)을 제안하여 분포 특성을 포착한다.
• 모멘트 서명에 대해 노드별 어텐션 가중치를 학습하는 요소별 어텐션 기반 모멘트 어댑터(AMA)를 설계하여 정보성 있는 순서를 강조한다.
• MME와 AMA를 메시지 전달 프레임워크에 통합하여 가중된 다중 순서 모멘트 신호를 사용해 노드 표현을 업데이트할 수 있도록 한다.
• 모멘트 순서 간 요소별로 작동하는 학습 가능한 어텐션 메커니즘을 사용하여 각 노드별로 관련 있는 분포 특징을 동적으로 선택할 수 있다.
• 기존 단일 통계량 집합화기와 대체하는 방식으로, 표준 GNN 최적화 기법을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 표현력과 계산 비용의 균형을 위해 모멘트 계산을 유한하고 설정 가능한 최대 순서 K로 제한한다.

실험 결과

연구 질문

• RQ1 단일 통계량 집합화와 비교해 이웃 특징의 고차원 모멘트를 모델링하는 것이 GNN의 노드 표현 학습에 향상되는가?
• RQ2 예를 들어 평균, 분산, 왜도와 같은 다양한 모멘트 순서는 첫 번째 통계량이 유사한 노드를 어떻게 구별하는가?
• RQ3 모멘트 순서에 대한 적응형 어텐션 메커니즘이 고정되거나 균일한 가중치 부여 방식보다 더 높은 성능과 해석 가능성으로 이어지는가?
• RQ4 MM-GNN은 사회망, 인용 네트워크, 웹 페이지 네트워크와 같은 다양한 그래프 유형에서 어떻게 성능을 발휘하는가?
• RQ5 훈련 데이터 비율과 최대 모멘트 순서 K와 같은 하이퍼파rameter의 변화에 대해 MM-GNN의 강건성은 어떠한가?

주요 결과

• MM-GNN은 사회망(예: Facebook, Chameleon), 인용 네트워크(예: Cora, PubMed), 웹 페이지 네트워크(예: Flickr)를 포함한 15개의 실세계 그래프에서 최신 기준 성능을 달성한다.
• Facebook 사회망에서 MM-GNN은 훈련 데이터가 10%일 때조차도 뛰어난 성능을 유지하여 강력한 일반화 능력과 강건성을 입증한다.
• 최대 모멘트 순서 K가 증가할수록 성능 향상이 관찰되며, K ≥ 3에서 안정화됨을 통해 고차원 모멘트(예: 왜도, 첨도)가 의미 있는 정보를 담고 있음을 시사한다.
• 어텐션 시각화 결과에서 사회망은 고차원 모멘트에 더 높은 가중치를 할당하는 반면, 인용 네트워크는 저차원 모멘트를 선호함을 확인하여 데이터의 복잡성과 분포 패턴과 잘 부합한다.
• 어텐션 메커니즘은 해석 가능하다: 특정 모멘트 순서에 대해 높은 어텐션을 부여할수록 그 순서에 대한 단일 모멘트 기반 베이스라인의 성능도 높아지며, 이는 적응형 선택 능력을 검증한다.
• 모든 평가된 데이터셋과 작업에서 GCN, GIN, GraphSAGE, GCNII, DAGNN와 같은 강력한 베이스라인을 모두 압도하며, 다중 순서 모멘트 모델링의 가치를 확인한다.