[논문 리뷰] GraphGAN: Graph Representation Learning with Generative Adversarial Nets

Hongwei Wang, Jia Wang외 6명|arXiv (Cornell University)|2017. 11. 22.

Advanced Graph Neural Networks참고 문헌 34인용 수 178

한 줄 요약

GraphGAN은 GAN 프레임워크를 통해 생성적 및 판별적 그래프 표현 학습을 통합하고, 그래프 소프트맥스와 BFS 기반 온라인 제너레이터를 도입해 연결 예측, 노드 분류 및 추천의 성능을 향상시킨다.

ABSTRACT

The goal of graph representation learning is to embed each vertex in a graph into a low-dimensional vector space. Existing graph representation learning methods can be classified into two categories: generative models that learn the underlying connectivity distribution in the graph, and discriminative models that predict the probability of edge existence between a pair of vertices. In this paper, we propose GraphGAN, an innovative graph representation learning framework unifying above two classes of methods, in which the generative model and discriminative model play a game-theoretical minimax game. Specifically, for a given vertex, the generative model tries to fit its underlying true connectivity distribution over all other vertices and produces "fake" samples to fool the discriminative model, while the discriminative model tries to detect whether the sampled vertex is from ground truth or generated by the generative model. With the competition between these two models, both of them can alternately and iteratively boost their performance. Moreover, when considering the implementation of generative model, we propose a novel graph softmax to overcome the limitations of traditional softmax function, which can be proven satisfying desirable properties of normalization, graph structure awareness, and computational efficiency. Through extensive experiments on real-world datasets, we demonstrate that GraphGAN achieves substantial gains in a variety of applications, including link prediction, node classification, and recommendation, over state-of-the-art baselines.

연구 동기 및 목표

• 하나의 적대적 프레임워크 안에서 생성적 및 판별적 그래프 표현 학습을 통합하도록 동기를 부여한다.
• 생성기 G가 진짜 연결 분포를 맞추는 것을 목표로 하고 판별기 D가 진짜 엣지와 생성된 엣지를 구분하는 GraphGAN을 제안한다.
• 전통적인 softmax의 비효율성을 극복하고 그래프 구조를 포착하기 위해 그래프 소프트맥스를 도입한다.
• 그래프 근접성을 존중하는 효율적인 생성을 위한 온라인 샘플링 전략을 개발한다.
• 세 가지 작업에 걸친 다수의 실세계 그래프 데이터셋에서 GraphGAN을 평가하여 성능 향상을 입증한다.

제안 방법

• 생성기 G(v|v_c)와 판별기 D(v,v_c) 사이의 두 선수 최소극 minimax 게임으로 GraphGAN을 형식화한다.
• 판별기 D는 정점 임베딩의 내적에 시그모이드를 적용한 값을 사용한다: D(v,v_c)=sigmoid(d_v^T d_{v_c}).
• 생성기 G는 진짜 연결 분포 p_true(v|v_c)를 근사하고 가능성이 높은 이웃을 생성하는 것을 목표로 한다.
• 그래프 소프트맥스 G(v|v_c)를 BFS-트리 T_c와 경로 기반 지역 소프트맥스의 곱으로 도입하여 정규화, 구조 인식, 효율성을 보장한다.
• 이웃에 대한 로컬 소프트맥스에 의해 정의된 전이 확률 p_c(v_i|v)로 T_c에서의 무작위 워크를 통해 샘플링하는 온라인 생성 전략을 제공한다.
• 이산 샘플링으로 인한 정책 경사로 G의 그래디언트를 도출하고, 판별기 피드백으로 가중된 기대 로그확률을 통해 θ_G를 업데이트할 수 있게 한다.

실험 결과

연구 질문

• RQ1 생성적 및 판별적 그래프 표현 학습이 최소극적(adversarial) 프레임워크 하에서 효과적으로 통합될 수 있는가?
• RQ2 그래프 소프트맥스가 표준 softmax, 계층적 소프트맥스, 또는 그래프에서의 음의 샘플링에 비해 정규화, 그래프 구조 인식 및 계산 효율성을 제공하는가?
• RQ3 온라인 BFS 기반 제너레이터 샘플링 전략이 대형 그래프에서도 정확도를 희생하지 않으면서 확장 가능한 학습을 달성할 수 있는가?
• RQ4 강력한 베이스라인과 비교하여 GraphGAN 임베딩이 연결 예측, 노드 분류, 추천에서 성능을 향상시키는가?

주요 결과

• GraphGAN은 arXiv-AstroPh 및 arXiv-GrQc에서 연결 예측에서 강력한 베이스라인을 능가하며, 정확도 향상은 0.59%에서 11.13%까지, Macro-F1 향상은 데이터셋에 따라 0.59%에서 11.13%까지이다.
• GraphGAN은 BlogCatalog 및 Wikipedia의 노드 분류를 향상시키며, 정확도 향상은 0.95%에서 21.71%까지, Macro-F1 향상은 최대 21.71%이다.
• MovieLens-1M에서의 추천에서 GraphGAN은 Precision@20 및 Recall@20의 향상을 보이며, 예를 들어 Precision@20이 베이스라인보다 38.56% 높고 Recall@20은 52.33% 증가했다.
• 학습 다이나믹은 생성기가 강한 성능에 도달하는 반면, 판별기는 무작위가 아닌 정보를 유지해 최소극 게임에서 안정된 균형을 시사한다.
• 그래프 소프트맥스는 실험적으로 인접성 기반의 연결 패턴을 포착하고, 전체 softmax에서 샘플당 O(d log V)로 계산량을 감소시킨다.