[논문 리뷰] TG-GAN: Deep Generative Models for Continuously-time Temporal Graph Generation.

Liming Zhang, Liang Zhao외 2명|arXiv (Cornell University)|2020. 05. 17.

Data Visualization and Analytics참고 문헌 20인용 수 3

한 줄 요약

TG-GAN은 연속 시간 동안 변화하는 시간적 그래프를 생성하기 위한 새로운 생성적 적대 신경망이며, 잘라낸 시간적 랜덤 워크를 모델링하고 특수한 활성화 함수를 갖춘 맞춤형 순환 아키텍처를 통해 시간적 타당성을 강제한다. 이는 합성 및 실세계 시간적 그래프 데이터셋에서 기존 방법들보다 효율성과 효과성 면에서 뛰어나다.

ABSTRACT

The recent deep generative models for static graphs that are now being actively developed have achieved significant success in areas such as molecule design. However, many real-world problems involve temporal graphs whose topology and attribute values evolve dynamically over time, including important applications such as protein folding, human mobility networks, and social network growth. As yet, deep generative models for temporal graphs are not yet well understood and existing techniques for static graphs are not adequate for temporal graphs since they cannot 1) encode and decode continuously-varying graph topology chronologically, 2) enforce validity via temporal constraints, or 3) ensure efficiency for information-lossless temporal resolution. To address these challenges, we propose a new model, called ``Temporal Graph Generative Adversarial Network'' (TG-GAN) for continuous-time temporal graph generation, by modeling the deep generative process for truncated temporal random walks and their compositions. Specifically, we first propose a novel temporal graph generator that jointly model truncated edge sequences, time budgets, and node attributes, with novel activation functions that enforce temporal validity constraints under recurrent architecture. In addition, a new temporal graph discriminator is proposed, which combines time and node encoding operations over a recurrent architecture to distinguish the generated sequences from the real ones sampled by a newly-developed truncated temporal random walk sampler. Extensive experiments on both synthetic and real-world datasets demonstrate TG-GAN significantly outperforms the comparison methods in efficiency and effectiveness.

연구 동기 및 목표

• 지속적으로 변화하는 시간적 그래프를 동적 구조와 속성과 함께 모델링할 수 있는 딥 생성 모델의 부족을 해결하기 위해.
• 정적 그래프 생성 모델이 연속적인 간선 시퀀스, 시간 예산, 시간 제약 조건을 처리하는 데에 한계를 가진다는 점을 극복하기 위해.
• 고시간 해상도에서 정보 손실이 없는 효율적인 시간적 그래프 생성 프레임워크를 개발하기 위해.
• 순환 아키텍처 내에서 학습된 시간 제약 조건을 통해 생성된 시퀀스의 타당성을 보장하기 위해.

제안 방법

• 새로운 시간적 타당성 강제 활성화 함수를 갖춘 순환 아키텍처를 사용하여 잘라낸 간선 시퀀스, 시간 예산, 노드 속성을 공동으로 모델링하는 시간적 그래프 생성기를 제안한다.
• 판별기의 학습을 위한 현실적인 실세계 시퀀스를 생성하기 위해 잘라낸 시간적 랜덤 워크 샘플러를 도입한다.
• 시간과 노드 인코딩을 순환 아키텍처 내에서 통합하여 실제 시퀀스와 생성된 시퀀스를 구분하는 시간적 그래프 판별기를 설계한다.
• 생성기가 판별기를 속이도록 학습하는 GAN 프레임워크를 활용하여 시간적 현실감을 향상시킨다.
• 시간적 일관성과 구조적 충실도를 유지하면서 생성기와 판별기를 종합 최적화 목표로 함께 훈련시킨다.
• 실현 가능한 시간적 그래프 시퀀스를 추출하기 위해 잘라낸 랜덤 워크를 적용하여 대규모 동적 그래프에서의 확장성과 효율성 있는 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 동적 구조와 속성을 갖는 지속적으로 변화하는 시간적 그래프를 효과적으로 포착하고 생성할 수 있는가?
• RQ2 생성 과정에서 시간적 타당성 제약 조건을 어떻게 강제하여 현실적인 시간적 진화를 보장할 수 있는가?
• RQ3 정보 손실 없이 GAN 기반 프레임워크가 얼마나 높은 시간 해상도의 생성을 달성할 수 있는가?
• RQ4 기존 정적 및 시간적 그래프 생성 방법들과 비교할 때 제안된 모델은 효율성과 효과성 면에서 어떻게 다른가?

주요 결과

• TG-GAN은 합성 및 실세계 시간적 그래프 데이터셋에서 기존 방법들보다 생성 품질과 훈련 효율성 면에서 뚜렷이 뛰어나다.
• 장기간에 걸친 변화하는 그래프 시퀀스에서 시간적 일관성과 구조적 충실도를 뛰어나게 유지한다.
• 순환 생성기 내에서 사용된 맞춤형 활성화 함수는 시간적 타당성을 보장하여 타당하지 않거나 비현실적인 그래프 전이를 감소시킨다.
• 잘라낸 시간적 랜덤 워크 샘플러는 효율적이고 현실적인 데이터 수집을 가능하게 하여 판별기 훈련의 안정성을 향상시킨다.
• 제안된 GAN 프레임워크는 단백질 접힘과 소셜 네트워크 동역학을 포함한 다양한 시간적 그래프 유형에서 강력한 일반화 성능을 보였다.
• TG-GAN은 정보 손실 없이 높은 시간 해상도를 유지하여 동적 그래프 진화의 세밀한 모델링을 가능하게 한다.