[논문 리뷰] HyperSAGE: Generalizing Inductive Representation Learning on Hypergraphs

Devanshu Arya, Deepak Gupta외 2명|arXiv (Cornell University)|2020. 10. 09.

Advanced Graph Neural Networks참고 문헌 33인용 수 7

한 줄 요약

HyperSAGE는 일반화 평균 집계와 이웃 샘플링을 사용하여 초모서리 내부와 초모서리 간에 이중 수준의 메시지 전달을 수행하는 새로운 유도형 초그래프 신경망을 제안한다. 이는 정확하고 확장 가능하며 일반화 가능한 노드 표현 학습을 가능하게 하며, 벤치마크 데이터셋에서 최신 기술을 초월하고, 예측할 수 없는 노드로의 일반화 성능이 뛰어나 변화하는 초그래프 환경에서 뛰어난 안정성과 성능을 보여준다.

ABSTRACT

Graphs are the most ubiquitous form of structured data representation used in machine learning. They model, however, only pairwise relations between nodes and are not designed for encoding the higher-order relations found in many real-world datasets. To model such complex relations, hypergraphs have proven to be a natural representation. Learning the node representations in a hypergraph is more complex than in a graph as it involves information propagation at two levels: within every hyperedge and across the hyperedges. Most current approaches first transform a hypergraph structure to a graph for use in existing geometric deep learning algorithms. This transformation leads to information loss, and sub-optimal exploitation of the hypergraph's expressive power. We present HyperSAGE, a novel hypergraph learning framework that uses a two-level neural message passing strategy to accurately and efficiently propagate information through hypergraphs. The flexible design of HyperSAGE facilitates different ways of aggregating neighborhood information. Unlike the majority of related work which is transductive, our approach, inspired by the popular GraphSAGE method, is inductive. Thus, it can also be used on previously unseen nodes, facilitating deployment in problems such as evolving or partially observed hypergraphs. Through extensive experimentation, we show that HyperSAGE outperforms state-of-the-art hypergraph learning methods on representative benchmark datasets. We also demonstrate that the higher expressive power of HyperSAGE makes it more stable in learning node representations as compared to the alternatives.

연구 동기 및 목표

• 사전에 존재하지 않은 노드로의 일반화가 불가능한 전이형 초그래프 학습 방법의 한계를 해결하기 위해.
• 초그래프를 그래프로 변환함으로써 발생하는 정보 손실을 극복하여 고차원 관계를 보다 최적화된 방식으로 활용하기 위해.
• 진행 중이거나 부분적으로 관측된 초그래프에서 노드 표현을 일반화하는 유도적 프레임워크를 개발하기 위해.
• 일반화 평균 집계와 이웃 샘플링을 활용하여 민첩하고 확장 가능하며 안정적인 노드 표현 학습을 가능하게 하기 위해.
• 초그래프 전용 학습이 그래프 감소 기반 방법보다 정확도와 강건성 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• HyperSAGE는 이중 수준의 메시지 전달 메커니즘을 사용한다: 먼저 각 초모서리 내에서 특징을 집계하고, 그 다음 초모서리 간에 집계한다.
• 이웃 집계에 일반화된 평균 집계기(M_p)를 사용하며, 초모수 p는 집계 유형(예: 최소값, 최대값, 산술 평균, 기하 평균)을 제어한다.
• 계산 비용을 줄이고 일반화 성능을 향상시키기 위해 이웃 샘플링을 적용하며, 각 초모서리당 고정된 수의 이웃 α를 선택한다.
• 모델은 유도적 설계로, 이웃 특징에 대한 매개변수 함수를 학습하여 이전에 보지 못한 노드에 대한 추론이 가능하다.
• 기존의 그래프 기반 모델인 GraphSAGE와 GCN과의 호환성을 확보하여 그래프와 초그래프 모두에서 통합된 학습이 가능하다.
• 메시지 전달는 미분 가능하고 엔드 투 엔드로 훈련 가능하며, 학습 가능한 집계기와 특징 변환을 위한 공유 가중치 행렬을 사용한다.

실험 결과

연구 질문

• RQ1 진행 중인 초그래프에서 사전에 존재하지 않은 노드로의 일반화가 가능한 유도형 초그래프 학습 프레임워크는 기존 노드 표현을 효과적으로 일반화할 수 있는가?
• RQ2 초그래프에서 이중 수준의 메시지 전달 메커니즘이 고차원 관계를 더 잘 포착할 수 있는가, 특히 그래프 감소 기반 방법보다 성능이 뛰어나게 되는가?
• RQ3 다양한 집계 함수(예: 일반화된 평균)의 선택이 모델 성능과 안정성에 어떤 영향을 미치는가?
• RQ4 이웃 샘플링이 초그래프 학습에서 일반화 성능 향상과 과적합 감소에 얼마나 기여하는가?
• RQ5 HyperSAGE는 표준 초그래프 벤치마크 데이터셋에서 최신 기술 성능을 달성하면서도 유도적 능력을 유지할 수 있는가?

주요 결과

• DBLP 데이터셋에서 HyperSAGE는 기존 노드에서 78.1%의 정확도를 기록했고, 예측할 수 없는 노드에서는 73.1%를 기록하여 기준 모델인 MLP+HLR(각각 64.5% 및 58.7%)를 크게 앞서갔다.
• PubMed 데이터셋에서 p=0.01을 사용한 HyperSAGE는 기존 노드에서 81.0%의 정확도를 기록했고, 예측할 수 없는 노드에서는 80.4%를 기록하여 기준 모델인 MLP+HLR(각각 66.8% 및 62.4%)를 능가했다.
• Citeseer 데이터셋에서 p=0.01을 사용한 HyperSAGE는 기존 노드에서 69.2%의 정확도를 기록했고, 예측할 수 없는 노드에서는 67.1%를 기록하여 기준 모델(각각 60.1% 및 58.2%)을 능가했다.
• 집계 함수 p의 선택은 성능에 큰 영향을 미치며, PubMed에서는 p=0.01이 최고의 성능을 기록했고, 높은 p 값(예: p=5)은 성능 저하를 초래했다.
• 이웃 샘플링은 일반화 성능 향상에 기여하며, PubMed에서는 α=5에서 최적의 성능을 기록했고, α=10에서는 스트로스티시 감소와 노이즈 노출 증가로 인해 성능 저하가 발생했다.
• HyperSAGE는 다양한 데이터셋에서 기존 노드와 예측할 수 없는 노드 간의 성능 격차가 일관되게 유지되어, 강력한 유도적 일반화 능력을 입증했다.