[논문 리뷰] You are AllSet: A Multiset Function Framework for Hypergraph Neural Networks

Eli Chien, Chao Pan외 2명|arXiv (Cornell University)|2021. 06. 24.

Advanced Graph Neural Networks인용 수 23

한 줄 요약

이 논문은 다중집합 함수 프레임워크인 AllSet를 제안하며, 학습 가능한 다중집합 함수의 조합으로서 전파 규칙을 모델링하여 기존 방법을 일반화한다. Deep Sets와 Set Transformers를 통합함으로써 AllSet는 13개의 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하였으며, 노드 분류 작업에서 Yelp와 Zoo에서 최대 4% 향상되고 Walmart에서 3% 향상되었다.

ABSTRACT

Hypergraphs are used to model higher-order interactions amongst agents and there exist many practically relevant instances of hypergraph datasets. To enable efficient processing of hypergraph-structured data, several hypergraph neural network platforms have been proposed for learning hypergraph properties and structure, with a special focus on node classification. However, almost all existing methods use heuristic propagation rules and offer suboptimal performance on many datasets. We propose AllSet, a new hypergraph neural network paradigm that represents a highly general framework for (hyper)graph neural networks and for the first time implements hypergraph neural network layers as compositions of two multiset functions that can be efficiently learned for each task and each dataset. Furthermore, AllSet draws on new connections between hypergraph neural networks and recent advances in deep learning of multiset functions. In particular, the proposed architecture utilizes Deep Sets and Set Transformer architectures that allow for significant modeling flexibility and offer high expressive power. To evaluate the performance of AllSet, we conduct the most extensive experiments to date involving ten known benchmarking datasets and three newly curated datasets that represent significant challenges for hypergraph node classification. The results demonstrate that AllSet has the unique ability to consistently either match or outperform all other hypergraph neural networks across the tested datasets.

연구 동기 및 목표

• 기존 전파 규칙을 포함하는 일반적이고 학습 가능한 초하이퍼그래프 신경망 프레임워크를 개발하는 것.
• 특히 클리크 확장 기반 방법이 고차원 관계를 왜곡하는 경향이 있는 초하이퍼그래프 학습에서 히우리스틱 전파 체계의 한계를 해결하는 것.
• 특정 데이터셋과 작업에 맞게 최적의 전파 규칙을 데이터 기반으로 직접 학습하고, 이를 다중집합 함수의 조합을 통해 실현하는 것.
• Deep Sets와 Set Transformers의 표현력을 초하이퍼그래프 신경망에 통합하여 더 유연한 모델링 능력을 향상시키는 것.
• Cora, Citeseer, Pubmed, Yelp, Walmart 등 13개 데이터셋(3개는 새로 셋업된 데이터셋 포함)을 포함한 광범위한 평가를 통해 우수한 일반화 능력과 성능을 입증하는 것.

제안 방법

• AllSet는 초하이퍼그래프 신경망 레이어를 두 개의 다중집합 함수 조합으로 표현하여 다양한 전파 규칙을 위한 통합 프레임워크를 가능하게 한다.
• 이 프레임워크는 메시지 전파 신경망(MPNN)을 초하이퍼그래프로 일반화하며, CE 기반 및 텐서 기반(예: Z-에igen문제) 방법을 특수 케이스로 포함한다.
• 두 가지 새로운 아키텍처가 제안된다: AllDeepSets와 AllSetTransformer. 양자 모두 엔드 투 엔드 학습이 가능하며 기존 GNN 프레임워크와 호환된다.
• AllDeepSets는 다중집합 풀링과 피드포워드 네트워크를 사용하는 반면, AllSetTransformer는 Set Transformers에서 영감을 얻은 어텐션 메커니즘을 활용하여 더 풍부한 특징 집합을 구현한다.
• 이 방법은 고정된 히우리스틱 체계를 피하고 데이터로부터 직접 전파 규칙을 학습함으로써 작업 및 데이터셋 기반 최적화를 가능하게 한다.
• 이 프레임워크는 Cora, Citeseer, Pubmed, Yelp, Walmart 등 13개 데이터셋에서 광범위한 아블레이션 및 하이퍼파ram터 튜닝을 통해 평가되었다.

실험 결과

연구 질문

• RQ1 클리크 확장 기반 및 텐서 기반 초하이퍼그래프 전파 규칙을 모두 수용할 수 있는 통합 프레임워크를 설계할 수 있는가?
• RQ2 다중집합 함수를 효과적으로 활용하여 초하이퍼그래프 신경망의 최적 데이터 기반 전파 규칙을 학습할 수 있는가?
• RQ3 Deep Sets와 Set Transformers를 초하이퍼그래프 학습에 통합하면 모델링 능력과 성능이 상당히 향상되는가?
• RQ4 제안된 프레임워크는 새로 셋업된 데이터셋을 포함한 다양한 초하이퍼그래프 데이터셋에서 일관된 성능 향상을 보이며 일반화 가능한가?
• RQ5 다양한 벤치마크 및 실세계 데이터셋에서 AllSet의 성능는 기존 최신 기술 수준 초하이퍼그래프 신경망보다 어떻게 비교되는가?

주요 결과

• AllSet는 테스트한 13개 데이터셋(공개 10개, 새로 셋업된 3개 포함)에서 최신 기술 수준 성능를 달성하였다.
• Yelp 및 Zoo 데이터셋에서 AllSet는 기존 초하이퍼그래프 신경망과 이질적 GNN 기반선보다 약 4% 향상된 성능을 기록하였다.
• Walmart 데이터셋에서 AllSet는 이전 방법보다 3% 향상된 성능을 기록하였으며, 대규모 실세계 데이터에서의 강건성을 입증하였다.
• AllSet 프레임워크는 MPNN를 초하이퍼그래프로 일반화하며, HyperGCN, HGNN, HCHA, HNHN, HyperSAGE 등의 기존 방법을 특수 케이스로 포함한다.
• AllDeepSets와 AllSetTransformer는 다양한 데이터셋에서 뛰어난 성능를 보였으며, 특히 ModelNet40 및 20News와 같은 복잡하고 고차원적인 데이터에서 AllSetTransformer가 뛰어난 성능를 기록하였다.
• 프레임워크는 계산적으로 효율적이고 확장 가능하며, 20News에서 오직 하나의 모델 버전만 메모리 오류(OOM)로 수렴하지 못하였고, 나머지는 안정적인 학습을 달성하였다.