[논문 리뷰] Hypergraph Convolution and Hypergraph Attention

Song Bai, Feihu Zhang외 1명|arXiv (Cornell University)|2019. 01. 23.

Advanced Graph Neural Networks참고 문헌 73인용 수 39

한 줄 요약

이 논문은 하이퍼그래프 컨볼루션과 하이퍼그래프 어텐션을 도입하여 그래프 신경망을 고차 관계로 확장하고, 이로 인해 이진 그래프 GNN 대비 준지도 학습 노드 분류에서 성능 향상을 보였다.

ABSTRACT

Recently, graph neural networks have attracted great attention and achieved prominent performance in various research fields. Most of those algorithms have assumed pairwise relationships of objects of interest. However, in many real applications, the relationships between objects are in higher-order, beyond a pairwise formulation. To efficiently learn deep embeddings on the high-order graph-structured data, we introduce two end-to-end trainable operators to the family of graph neural networks, i.e., hypergraph convolution and hypergraph attention. Whilst hypergraph convolution defines the basic formulation of performing convolution on a hypergraph, hypergraph attention further enhances the capacity of representation learning by leveraging an attention module. With the two operators, a graph neural network is readily extended to a more flexible model and applied to diverse applications where non-pairwise relationships are observed. Extensive experimental results with semi-supervised node classification demonstrate the effectiveness of hypergraph convolution and hypergraph attention.

연구 동기 및 목표

• 간단한 그래프를 넘어서는 고차(비-쌍대) 관계에서의 학습 동기 부여.
• 엔드-투-엔드로 학습 가능한 하이퍼그래프 컨볼루션 및 하이퍼그래프 어텐션 연산자 도입.
• 벤치마크 데이터셋에서 준지도 노드 분류 성능의 향상을 입증.

제안 방법

• 관계 행렬 H, 정점 차수 D 및 하이퍼엣지 차수 B로 하이퍼그래프를 정의한다.
• 하이퍼그래프 컨볼루션을 제안: X^{(l+1)} = σ(D^{-1/2} H W B^{-1} H^T D^{-1/2} X^{(l)} P) (대칭 정규화) 또는 X^{(l+1)} = σ(D^{-1} H W B^{-1} H^T X^{(l)} P) (비대칭 정규화).
• 하이퍼그래프 컨볼루션은 하이퍼엣지가 쌍대일 때 표준 그래프 컨볼루션의 특수한 경우임을 증명.
• 선택적으로 어텐션 점수로 동적 인 incidence 행렬 H를 학습하여 하이퍼그래프 어텐션을 가능하게 한다(Eq. 7–8).
• 실용적 측면 논의: 복잡도, 희소성, 스킵 커넥션, 다중-head 확장(Eq. 13).
• 기존 GNN과의 통합 및 비쌍대 관계를 활용하는 방법 제시.

실험 결과

연구 질문

• RQ1 하이퍼그래프 컨볼루션이 그래프 컨볼루션을 고차 관계로 일반화할 수 있는가?
• RQ2 하이퍼그래프 어텐션은 동적 연결성을 학습함으로써 추가적인 성능 향상을 제공하는가?
• RQ3 GCN/GAT와 비교할 때 표준 준지도 노드 분류 벤치마크에서 하이퍼그래프 연산자는 어떻게 작동하는가?
• RQ4 하이퍼그래프 연산자를 구현하기 위한 실용적 고려사항(정규화, 희소성, 학습 안정성)은 무엇인가?

주요 결과

방법	Cora	Citeseer	Pubmed
다층 퍼셉트론	55.1	46.5	71.4
류장 규제(Manifold Regularization)	59.5	60.1	70.7
준지도 임베딩	59.0	59.6	71.7
레이블 전파	68.0	45.3	63.0
DeepWalk	67.2	43.2	65.3
반복 분류 알고리즘	75.1	69.1	73.9
Planetoid	75.7	64.7	77.2
Chebyshev	81.2	69.8	74.4
MoNet	81.7	-	78.8
분산 감소	82.0	70.9	79.0
Graph Convolutional Network	81.5	70.3	79.0
Feng et al.	81.6	-	-
Ours (Hypergraph Conv)	82.7 ±0.3	71.2 ±0.4	78.4 ±0.3

• 하이퍼그래프 컨볼루션은 하이퍼엣지가 쌍대이고 적절히 정규화될 때 그래프 컨볼루션으로 축소된다.
• 하이퍼그래프 어텐션은 하이퍼엣지에 걸친 동적 연결성을 학습하여 결과를 추가로 개선한다.
• Cora와 Citeseer에서 하이퍼그래프 기반 방법은 이들 쌍대 모델보다 우수한 성능을 보인다(예: Hyper-Conv. 대 GCN*, Hyper-Atten. 대 GAT*).
• Pubmed에서 하이퍼그래프 어텐션은 최신 방법들과 경쟁력 있는 정확도를 달성한다.
• 표 기반 비교에서 Table 5의 Ours는 Cora에서 82.7%±0.3, Citeseer에서 71.2%±0.4, Pubmed에서 78.4%±0.3를 달성하며 다수의 베이스라인에 근접하거나 이를 상회한다.