[논문 리뷰] NetGAN: Generating Graphs via Random Walks

Aleksandar Bojchevski, Oleksandr Shchur외 2명|arXiv (Cornell University)|2018. 03. 02.

Advanced Graph Neural Networks참고 문헌 33인용 수 151

한 줄 요약

NetGAN은 그래프에 대한 편향된 랜덤 워크의 분포를 Wasserstein GAN으로 학습하는 암시적 생성 모델로, 실제 네트워크를 모방하고 링크 예측으로 일반화되는 그래프를 생성합니다.

ABSTRACT

We propose NetGAN - the first implicit generative model for graphs able to mimic real-world networks. We pose the problem of graph generation as learning the distribution of biased random walks over the input graph. The proposed model is based on a stochastic neural network that generates discrete output samples and is trained using the Wasserstein GAN objective. NetGAN is able to produce graphs that exhibit well-known network patterns without explicitly specifying them in the model definition. At the same time, our model exhibits strong generalization properties, as highlighted by its competitive link prediction performance, despite not being trained specifically for this task. Being the first approach to combine both of these desirable properties, NetGAN opens exciting avenues for further research.

연구 동기 및 목표

• 단일 실제 세계 그래프로부터 학습할 수 있는 암시적 그래프 생성 모델을 동기 부여하고 개발한다.
• 모델에 명시적으로 명시 없이도 핵심 위상 특성(예: 차수 분포, 커뮤니티 구조)을 포착한다.
• 생성된 그래프가 입력 그래프를 넘어 일반화됨을 입증하고, 특히 링크 예측 성능을 통해 보여준다.

제안 방법

• 그래프 생성 문제를 입력 그래프에 대한 편향된 랜덤 워크의 분포를 학습하는 문제로 모델링한다.
• 확률적 신경망 생성기를 사용해 랜덤 워크를 생성하고, 생성된 워크와 실제 워크를 구분하는 판별기를 사용한다.
• 바이어스 인식이 가능한 2차 랜덤 워크 샘플링 전략과 미분 가능 샘플링을 위한 straight-through Gumbel이 포함된 LSTM 기반 생성기를 사용한다.
• 안정성을 위해 Wasserstein GAN 목적함수와 그래디언트 페널티로 학습한다.
• 생성된 워크를 확률적이고 간선 의식적인 샘플링 절차를 통해 이진 인접 행렬로 구성한다.

실험 결과

연구 질문

• RQ1 암시적 GAN 기반 모델이 명시적 속성 제약 없이도 실제 네트워크 속성을 재현하는 그래프를 생성할 수 있는가?
• RQ2 NetGAN이 생성한 그래프가 학습 그래프를 넘어 일반화되며 링크 예측 성능으로 입증되는가?
• RQ3 하이퍼파라미터(예: 랜덤 워크 길이, 잠재 공간)가 생성된 그래프의 현실성 및 다양성에 어떤 영향을 미치는가?
• RQ4 전체 인접 행렬이 아닌 랜덤 워크를 이용함으로써 대규모 그래프에 모델이 확장 가능한가?

주요 결과

그래프	최대 차수	어소타시티	삼각형 개수	파워 법칙 지수	커뮤니티 간 단위 밀도	커뮤니티 내 단위 밀도	클러스터링 계수	특성 경로 길이	평균 순위
Cora-ML	240	-0.075	2,814	1.860	4.3e-4	1.7e-3	2.73e-3	5.61
NetGAN EO (52% EO)	233	-0.066	1,588	1.793	6.0e-4	1.4e-3	2.44e-3	5.20	1.75

• NetGAN은 명시적으로 인코딩하지 않고도 많은 알려진 네트워크 패턴을 일관되게 재현한다.
• 이 모델은 강한 일반화를 보여 주며 여러 데이터셋에서 경쟁력 있거나 최첨단의 링크 예측 성능을 달성한다.
• 더 긴 랜덤 워크(T)는 엣지 전용 생성보다 성능을 향상시키며, 특정 길이를 넘어서서는 수익이 감소한다.
• 잠재 공간 보간은 그래프 속성의 매끄러운 변화를 만들어 다양한 특성을 가진 그래프를 가능하게 한다.
• 더 많은 랜덤 워크를 샘플링하는 것이 링크 예측 성능을 향상시키며, 특히 대규모 그래프에서 그러하며 샘플링은 병렬화가 가능하다.