[논문 리뷰] UniGNN: a Unified Framework for Graph and Hypergraph Neural Networks

Jing Huang, Jie Yang|arXiv (Cornell University)|2021. 05. 03.

Advanced Graph Neural Networks참고 문헌 6인용 수 11

한 줄 요약

UniGNN는 GCN, GAT, GIN, GraphSAGE와 같은 잘 알려진 그래프 신경망(GNN) 아키텍처를 최소한의 아키텍처 수정으로 초그래프에 일반화할 수 있는 통합 프레임워크를 제안한다. UniGCNII를 통해 깊이 있는 초그래프 학습을 가능하게 하여 과도한 스무딩을 완화하고, 반감성 초노드 분류에서 DBLP 데이터셋의 정확도를 77.4%에서 88.8%로 향상시켜 최신 기술 성능을 달성한다.

ABSTRACT

Hypergraph, an expressive structure with flexibility to model the higher-order correlations among entities, has recently attracted increasing attention from various research domains. Despite the success of Graph Neural Networks (GNNs) for graph representation learning, how to adapt the powerful GNN-variants directly into hypergraphs remains a challenging problem. In this paper, we propose UniGNN, a unified framework for interpreting the message passing process in graph and hypergraph neural networks, which can generalize general GNN models into hypergraphs. In this framework, meticulously-designed architectures aiming to deepen GNNs can also be incorporated into hypergraphs with the least effort. Extensive experiments have been conducted to demonstrate the effectiveness of UniGNN on multiple real-world datasets, which outperform the state-of-the-art approaches with a large margin. Especially for the DBLP dataset, we increase the accuracy from 77.4\% to 88.8\% in the semi-supervised hypernode classification task. We further prove that the proposed message-passing based UniGNN models are at most as powerful as the 1-dimensional Generalized Weisfeiler-Leman (1-GWL) algorithm in terms of distinguishing non-isomorphic hypergraphs. Our code is available at \url{https://github.com/OneForward/UniGNN}.

연구 동기 및 목표

• 최소한의 수정으로 잘 알려진 GNN 아키텍처를 초그래프 신경망으로 일반화하는 것.
• 심화된 초그래프 신경망에서의 과도한 스무딩 문제를 고도화된 학습 전략을 통해 해결하는 것.
• 메시지 전달 기반 초그래프 신경망의 비동형 초그래프를 구분하는 능력을 평가하는 것.
• 전역적인 구조 정보를 포착하여 미리 보지 않은 노드에 대한 인덕티브 초그래프 학습을 가능하게 하는 것.

제안 방법

• 초간선 인cidenc을 사용하여 이웃 집합화를 재정의함으로써 GNN을 초그래프로 일반화하는 통합 메시지 전달 프레임워크를 도입한다.
• 특히 浅층 모델에서 성능 향상과 훈련 안정성을 높이기 위해 자기순환 보정 전략을 활용한다.
• 잔차 연결과 신원 스킵 연결을 갖춘 깊이 있는 초그래프 네트워크인 UniGCNII를 제안하여 과도한 스무딩을 완화한다.
• 노드 표현을 소속된 노드 특징의 초간선 수준 집합화에 기반해 업데이트하는 일반화된 메시지 전달 메커니즘을 사용한다.
• UniGAT에서는 학습 가능한 어텐션 메커니즘을, UniGIN에서는 다층 퍼셉트론을 사용하여 초그래프 환경에서의 특징 집합화를 향상시킨다.
• 깊이 있는 모델을 효과적으로 훈련하기 위해 조기 정지, L2 정규화, Adam 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 GCN, GAT, GIN, GraphSAGE와 같은 고전적인 GNN 아키텍처들이 최소한의 아키텍처 변경으로 초그래프로 효과적으로 일반화될 수 있는가?
• RQ2 잔차 연결과 정규화와 같은 고도화된 GNN 학습 전략이 초그래프 학습에 성공적으로 적응되어 과도한 스무딩을 방지할 수 있는가?
• RQ3 메시지 전달 기반 초그래프 신경망은 알려진 그래프 이somorphism 테스트와 비교해 얼마나 표현력이 강한가?
• RQ4 통합 프레임워크는 높은 일반화 성능로 새로운 노드에 대한 인덕티브 초그래프 학습을 지원할 수 있는가?

주요 결과

• UniGNN 모델은 모든 벤치마크 데이터셋에서 최신 기술 성능을 뛰어넘으며, 반감성 초노드 분류에서 DBLP 데이터셋의 정확도를 11.4%p 향상시켜 77.4%에서 88.8%로 상승시켰다.
• 입력 초그래프에 자기순환을 포함시킴으로써 성능 향상이 뚜렷하게 향상되었으며, 이는 메시지 집합화에서 자기연결의 중요성을 확인한다.
• 초기 깊이 있는 초그래프 신경망인 UniGCNII는 과도한 스무딩을 효과적으로 완화하여 깊이가 증가할수록 성능 향상을 보이며, 반면 얕은 기준 모델은 성능 저하를 보인다.
• 제안된 프레임워크는 강력한 인덕티브 학습 성능을 제공하며, DBLP 데이터셋에서 학습된 노드의 정확도는 78.1%에서 89.6%로 향상되었고, 새로운 노드의 정확도는 73.2%에서 83.4%로 상승했다.
• UniGNN 모델의 표현 능력은 1차원 일반화된 Weisfeiler-Leman(1-GWL) 알고리즘에 의해 제한되며, 이는 기존의 이somorphism 테스트 한계와 이론적으로 일치함을 시사한다.
• 실험 전반에 걸쳐 낮은 표준편차를 보이며 높은 안정성과 예측의 변동성 감소를 입증하여 프레임워크의 강건성을 확인한다.