[논문 리뷰] Hypergraph-enhanced Dual Semi-supervised Graph Classification

Wei Ju, Zhengyang Mao외 7명|arXiv (Cornell University)|2024. 05. 08.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

HEAL은 학습 가능한 하이퍼그래프 구조와 관계 일관성 학습을 이용하여 비라벨 그래프를 활용하고 고차 의존성을 포착하는 하이퍼그래프- 및 선 그래프 기반의 이중 프레임워크를 도입한다. 이는 여러 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

In this paper, we study semi-supervised graph classification, which aims at accurately predicting the categories of graphs in scenarios with limited labeled graphs and abundant unlabeled graphs. Despite the promising capability of graph neural networks (GNNs), they typically require a large number of costly labeled graphs, while a wealth of unlabeled graphs fail to be effectively utilized. Moreover, GNNs are inherently limited to encoding local neighborhood information using message-passing mechanisms, thus lacking the ability to model higher-order dependencies among nodes. To tackle these challenges, we propose a Hypergraph-Enhanced DuAL framework named HEAL for semi-supervised graph classification, which captures graph semantics from the perspective of the hypergraph and the line graph, respectively. Specifically, to better explore the higher-order relationships among nodes, we design a hypergraph structure learning to adaptively learn complex node dependencies beyond pairwise relations. Meanwhile, based on the learned hypergraph, we introduce a line graph to capture the interaction between hyperedges, thereby better mining the underlying semantic structures. Finally, we develop a relational consistency learning to facilitate knowledge transfer between the two branches and provide better mutual guidance. Extensive experiments on real-world graph datasets verify the effectiveness of the proposed method against existing state-of-the-art methods.

연구 동기 및 목표

• 라벨이 적고 비라벨 그래프가 풍부한 상황에서 반지도 그래프 분류의 동기를 제시한다.
• 학습 가능한 하이퍼그래프를 통해 로컬 이웃을 넘어서는 고차 노드 의존성을 포착한다.
• 학습된 하이퍼엣지에 대해 선 그래프를 구성하고 고차 하위구조 간의 상호 작용을 모델링한다.
• 메모리 은행의 앵커 그래프를 활용한 관계 일관성 학습으로 하이퍼그래프와 선 그래프 가지 간의 상호 지식 전달을 가능하게 한다.
• 실제 데이터셋에서 최첨단 기반 방법에 비해 견고성과 효과를 입증한다.

제안 방법

• 저차원 하이퍼엣지 행렬 Λ = H W (k 하이퍼엣지)로 고차 노드 의존성을 포착하기 위한 학습 가능한 하이퍼그래프 구조를 도입한다.
• 하이퍼그래프 컨볼루션을 적용하여 고차 노드 표현 및 그래프 수준 임베딩 s_G를 얻는다.
• 학습된 하이퍼그래프 위에 선 그래프를 구성하고 GNN 인코더를 사용하여 두 번째 그래프 수준 임베딩 t_G를 얻는다.
• 메모리 은행의 앵커 그래프를 이용해 하이퍼그래프 뷰와 선 그래프 뷰 간의 유사도 분포를 정렬하기 위한 관계 일관성 학습을 제안한다.
• 라벨이 있는 그래프에 대한 감독 손실과 라벨이 없는 그래프를 규제하는 관계 일관성 손실로 학습한다.

실험 결과

연구 질문

• RQ1 하이퍼그래프 구조를 학습하는 것이 그래프 분류를 위한 고차 노드 상호 작용 모델링을 어떻게 개선하는가?
• RQ2 학습된 하이퍼엣지에 대한 선 그래프가 하이퍼그래프 뷰를 넘어서는 하이퍼엣지 간 상호 작용과 의미를 포착할 수 있는가?
• RQ3 관계 일관성 학습이 비라벨 그래프를 효과적으로 활용하여 반지도 성능을 개선하는가?
• RQ4 HEAL의 전반적인 성능 향상이 최첨단 반지도 그래프 분류 방법과 비교해 어느 정도인가?

주요 결과

방법	PROTEINS	DD	IMDB-B	IMDB-M	REDDIT-M-5k	COLLAB
WL	63.5 ± 1.6	57.3 ± 1.2	58.1 ± 2.3	33.3 ± 1.4	37.0 ± 0.9	62.9 ± 0.7
Sub2Vec	52.7 ± 4.5	46.4 ± 3.2	44.9 ± 3.5	31.8 ± 2.7	35.1 ± 1.5	60.8 ± 1.4
Graph2Vec	63.1 ± 1.8	53.7 ± 1.6	61.2 ± 2.6	38.1 ± 2.2	38.1 ± 1.4	63.6 ± 0.9
EntMin	62.7 ± 2.7	59.8 ± 1.3	67.1 ± 3.7	37.4 ± 1.2	38.7 ± 2.8	63.8 ± 1.6
Mean-Teacher	64.3 ± 2.1	60.6 ± 1.8	66.4 ± 2.7	38.8 ± 3.6	39.2 ± 2.1	63.6 ± 1.4
VAT	64.1 ± 1.2	59.9 ± 2.6	67.2 ± 2.9	39.6 ± 1.4	38.9 ± 3.2	64.1 ± 1.1
InfoGraph	68.2 ± 0.7	67.5 ± 1.4	71.8 ± 2.3	42.3 ± 1.8	41.5 ± 1.7	65.7 ± 0.4
ASGN	67.7 ± 1.2	68.5 ± 0.6	70.6 ± 1.4	41.2 ± 1.4	42.2 ± 0.8	65.3 ± 0.8
GraphCL	69.4 ± 0.8	68.7 ± 1.2	71.2 ± 2.5	43.7 ± 1.3	42.3 ± 0.9	66.4 ± 0.6
JOAO	68.7 ± 0.9	67.9 ± 1.3	71.0 ± 1.9	42.6 ± 1.5	42.1 ± 1.2	65.8 ± 0.4
DualGraph	70.1 ± 1.2	69.8 ± 0.8	72.1 ± 0.7	44.8 ± 0.4	42.9 ± 1.4	67.2 ± 0.6
KGNN	70.9 ± 0.5	70.5 ± 0.6	72.5 ± 1.6	43.3 ± 0.7	44.8 ± 0.6	67.4 ± 0.5
TGNN	71.0 ± 0.7	70.8 ± 0.9	72.8 ± 1.7	42.9 ± 0.8	43.8 ± 1.0	67.7 ± 0.4
HEAL	73.4 ± 0.8	72.1 ± 0.9	73.5 ± 1.5	44.3 ± 0.6	45.9 ± 1.0	68.3 ± 0.5

• HEAL은 여섯 개의 벤치마크 데이터셋에서 여러 지표로 베이스라인을 능가하며 여러 작업에서 최상 성능을 보고한다.
• 아블레이션 연구는 하이퍼그래프 뷰와 선 그래프 뷰를 관계 일관성과 결합할 때 가장 강한 성능을 보임을 보여준다.
• 관계 일관성 학습은 비라벨 그래프를 효과적으로 활용하여 순수 감독 학습 또는 단일 가지 변형보다 견고성과 정확도를 향상시킨다.
• 초매개변수: 임베딩 차원 d=32 및 하이퍼엣지 수 k=32가 성능과 효율성 간의 우호적인 타협을 제공한다.
• 실험 결과는 더 많은 라벨 데이터일수록 성능이 향상되며, 라벨링 비율에 상관없이 HEAL이 이점을 유지한다.
• 시각화 결과는 학습된 하이퍼그래프가 지역적 연결을 넘어서는 고차 상호 작용을 포착함을 확인한다.