[논문 리뷰] HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs

Naganand Yadati, Madhav Nimishakavi외 4명|arXiv (Cornell University)|2018. 09. 07.

Advanced Graph Neural Networks참고 문헌 61인용 수 205

한 줄 요약

HyperGCN는 그래프 컨볼루션 네트워크를 하이퍼그래프의 선형 엣지 근사로 학습하여 SSL에서 노이즈가 있는 하이퍼엣지에 대해 HGNN을 능가하고 조합 최적화 애플리케이션을 가능하게 한다.

ABSTRACT

In many real-world network datasets such as co-authorship, co-citation, email communication, etc., relationships are complex and go beyond pairwise. Hypergraphs provide a flexible and natural modeling tool to model such complex relationships. The obvious existence of such complex relationships in many real-world networks naturaly motivates the problem of learning with hypergraphs. A popular learning paradigm is hypergraph-based semi-supervised learning (SSL) where the goal is to assign labels to initially unlabeled vertices in a hypergraph. Motivated by the fact that a graph convolutional network (GCN) has been effective for graph-based SSL, we propose HyperGCN, a novel GCN for SSL on attributed hypergraphs. Additionally, we show how HyperGCN can be used as a learning-based approach for combinatorial optimisation on NP-hard hypergraph problems. We demonstrate HyperGCN's effectiveness through detailed experimentation on real-world hypergraphs.

연구 동기 및 목표

• 쌍 방향 간선 이상이 관계인 하이퍼그래프에서 학습의 동기를 부여한다.
• 학습을 안내하기 위해 하이퍼그래프 라플라시안(hypergraph Laplacians)을 사용하는 그래프 컨볼루션 프레임워크(HyperGCN)를 제안한다.
• 실세계 하이퍼그래프에서 반지도 학습과 조합 최적화에서 HyperGCN의 효과를 입증한다.
• HyperGCN을 HGNN 및 MLP 기반 방법을 포함한 기초 모델과 비교하여 HyperGCN이 뛰어난 영역을 식별한다.

제안 방법

• 각 하이퍼엣지를 선형 엣지 집합으로 변환하기 위한 하이퍼그래프 라플라시안 기반 근사를 정의한다.
• 컨볼루션을 위해 하이퍼엣지당 정확히 하나의 표본 엣지를 사용하는 1-HyperGCN을 제안한다.
• 매개자(mediators)를 활용하여 일반화 하이퍼그래프 라플라시안을 형성하는 1-HyperGCN을 확장한다(매개자를 갖는 HyperGCN).
• 초기 특징을 사용해 라플라시스를 사전 계산하여 더 빠른 학습을 제공하는 FastHyperGCN을 도입한다.
• 학습 알고리즘(HyperGCN, FastHyperGCN, 1-HyperGCN)을 제공하고 시간 복잡도를 분석한다.
• HyperGCN이 clique 기반 확장에 비해 하이퍼엣지당 엣지 증가를 선형으로 줄임을 보인다.

실험 결과

연구 질문

• RQ1 하이퍼그래프를 신경망 모델의 반지도 학습에 효과적으로 활용하려면 어떻게 해야 하는가?
• RQ2 실세계 하이퍼그래프에서 특히 크고 노이즈가 많은 하이퍼엣지의 경우 HyperGCN이 clique 기반 HGNN을 언제 능가하는가?
• RQ3 HyperGCN 변형들 간의 정확도와 학습 시간 사이의 계산적 트레이드오프는 무엇인가?
• RQ4 HyperGCN을 SSL을 넘어 하이퍼그래프의 조합 최적화 문제에 적용할 수 있는가?

주요 결과

• 실세계 하이퍼그래프에서 노이즈가 많은 대형 하이퍼엣지를 갖는 경우(HGNN을) 초과하는 HyperGCN, FastHyperGCN, 및 1-HyperGCN이 HGNN을 능가한다(예: DBLP, PubMed, Cora 공동저자).
• HyperGCN이 대부분의 SSL 데이터세트에서 최상의 평균 테스트 오차를 달성한다: DBLP 24.09±2.0, PubMed 25.56±1.6, Cora 공동저자 30.08±1.8, Cora 공동인용 32.37±1.6, Citeseer 37.35±1.6.
• FastHyperGCN은 일반적으로 더 빠른 학습 시간과 강력한 성능을 제공하며 종종 HyperGCN에 근접하다.
• HGNN은 더 작거나 덜 노이즈가 있는 하이퍼엣지를 가진 데이터셋에서 여전히 경쟁력이 있다(예: Cora/Citeseer 공동인용).
• 합성/노이즈가 있는 하이퍼그래프에서 하이퍼엣지 크기와 노이즈가 증가할수록 HyperGCN 방법이 HGNN에 비해 강건성 우위를 보인다.
• 하이퍼그래프의 조합 최적화 과제에서 HyperGCN 기반 접근법이 여러 기초 모델보다 밀도 면에서 우수하다.