[논문 리뷰] CAT-Walk: Inductive Hypergraph Learning via Set Walks

Ali Behrouz, Farnoosh Hashemi외 2명|arXiv (Cornell University)|2023. 06. 19.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

CAt-Walk는 시간적, 고차원 무작위 보행(SetWalk)을 사용하여 시간적 초그래프 내에서 동적인 인과 패턴을 포착하는 인덕티브 초그래프 표현 학습 방법이다. 이를 통해 순열 불변인 SetMixer 풀링과 집합 기반의 익명화를 통해 강건하고 신원에 의존하지 않는 학습을 가능하게 하며, 10개의 벤치마크 데이터셋에서 초간선 예측 작업에서 SOTA 성능을 달성하여 인덕티브 설정에서 96.74% ± 1.28 AUC를 기록한다.

ABSTRACT

Temporal hypergraphs provide a powerful paradigm for modeling time-dependent, higher-order interactions in complex systems. Representation learning for hypergraphs is essential for extracting patterns of the higher-order interactions that are critically important in real-world problems in social network analysis, neuroscience, finance, etc. However, existing methods are typically designed only for specific tasks or static hypergraphs. We present CAT-Walk, an inductive method that learns the underlying dynamic laws that govern the temporal and structural processes underlying a temporal hypergraph. CAT-Walk introduces a temporal, higher-order walk on hypergraphs, SetWalk, that extracts higher-order causal patterns. CAT-Walk uses a novel adaptive and permutation invariant pooling strategy, SetMixer, along with a set-based anonymization process that hides the identity of hyperedges. Finally, we present a simple yet effective neural network model to encode hyperedges. Our evaluation on 10 hypergraph benchmark datasets shows that CAT-Walk attains outstanding performance on temporal hyperedge prediction benchmarks in both inductive and transductive settings. It also shows competitive performance with state-of-the-art methods for node classification. (https://github.com/ubc-systopia/CATWalk)

연구 동기 및 목표

• 기존의 정적, 전도적 또는 작업에 특화된 초그래프 표현 학습 방법의 한계를 해결하기 위해.
• 시간적 초그래프 내에서 동적인 고차원 상호작용을 학습할 수 있는 인덕티브 방법을 개발하기 위해.
• 익명화를 통해 초간선 및 노드의 신원에 대해 불변인 표현 학습을 가능하게 하기 위해.
• 시간적 및 구조적 인과성을 포착하여 초간선 예측 및 노드 분류 성능을 향상시키기 위해.
• 다양한 후행 작업에 일반화 가능한 확장성 있고 일반적인 프레임워크를 설계하기 위해.

제안 방법

• 초간선 중심의 무작위 보행인 SetWalk을 도입하여, 클리크로 분해하지 않고 전체 초간선을 통해 이동함으로써 고차원 의미를 유지한다.
• 두 단계의 집합 기반 익명화를 적용한다: 첫째, 샘플링된 보행에서 노드의 빈도에 따라 위치 인코딩을 할당한다; 둘째, SetMixer를 사용하여 순열 불변 방식으로 노드 인코딩을 초간선 표현으로 풀링한다.
• 불규칙하게 간격이 떨어진 시간적 보행을 처리하기 위해 시간 인코딩 모듈과 MLP-Mixer를 조합하여 순차적 인코더(예: RNN)의 한계를 피한다.
• 노드에서 SetWalk를 샘플링하는 새로운 신경 인코딩 모델을 설계하고, 이를 통해 유도된 보행을 기반으로 하위 작업을 위한 그래프 신경망을 훈련시킨다.
• 노드 순서에 관계없이 모델이 불변이 되도록 순열 불변 풀링 전략(SetMixer)을 활용한다.
• 인덕티브이자 일반화 가능한 프레임워크를 설계하여, 미리 보지 못한 초간선과 노드에 대한 제로샷 예측을 가능하게 한다.

Figure 1: The advantage of SetWalk s in walk-based hypergraph learning.

실험 결과

연구 질문

• RQ1 초간선 중심의 무작위 보행은 동적인 초그래프 내에서 시간적 및 고차원 인과 패턴을 효과적으로 포착할 수 있는가?
• RQ2 초간선 및 노드의 신원에 대해 불변이면서도 구조적 및 시간적 의미를 유지하는 표현 학습은 어떻게 달성할 수 있는가?
• RQ3 비순차적이고 연속 시간 기반의 인코딩 방법은 기존의 RNN 기반 순차적 인코더보다 불규칙하게 샘플링된 시간적 보행에서 더 우수한 성능을 낼 수 있는가?
• RQ4 제안된 방법은 인덕티브 및 전도적 설정 모두에서 초간선 예측 및 노드 분류를 포함한 다양한 후행 작업으로 일반화되는가?
• RQ5 SetWalk는 클리크 전개 기반의 보행과 기존의 초그래프 GNN보다 성능 향상에 얼마나 기여하는가?

주요 결과

• CAt-Walk는 인덕티브 설정에서 10개의 벤치마크 데이터셋 전반에서 96.74% ± 1.28 AUC를 기록하며, 모든 베이스라인을 크게 능가한다.
• 전도적 설정에서는 97.06% ± 3.72 AUC를 달성하여 강력한 일반화 능력과 강건성을 입증한다.
• AUC 및 평균 정밀도 지표에서 CHESHIRE, CE-CAW, HyperSAGCN과 같은 SOTA 방법들을 모두 능가한다.
• MLP-Mixer를 RNN으로 교체할 경우, 시간 간격의 변동성이 높은 데이터셋에서 일관되게 성능 저하가 발생함으로써 연속 시간 인코딩의 우수성을 확인한다.
• SetMixer의 순열 불변 풀링은 노드 순서가 변하더라도 효과적이고 안정적인 초간선 표현 학습을 가능하게 한다.
• 노드 분류 작업에서도 경쟁적인 성능을 보이며, 초간선 예측을 넘어서 일반화 능력이 뛰어나다는 것을 시사한다.

Figure 2: The advantage of SetWalk s in causality extraction and capturing complex dynamic laws.