[논문 리뷰] GRAM: Scalable Generative Models for Graphs with Graph Attention Mechanism.

Wataru Kawai, Yusuke Mukuta외 1명|arXiv (Cornell University)|2019. 09. 25.

Advanced Graph Neural Networks참고 문헌 33인용 수 6

한 줄 요약

GRAM는 대규모 그래프, 데이터셋 및 레이블이 부여된 노드/엣지 처리를 효율적으로 수행할 수 있도록 새로운 그래프 어텐션 메커니즘을 사용하는 확장 가능한 그래프 생성 모델을 제안한다. 이 모델은 계산 복잡도를 감소시키면서도 최신 기술 수준의 성능을 달성하며, 그래프 커널과 Maximum Mean Discrepancy를 통합한 유일한 평가 지표를 제공한다.

ABSTRACT

Graphs are ubiquitous real-world data structures, and generative models that approximate distributions over graphs and derive new samples from them have significant importance. Among the known challenges in graph generation tasks, scalability handling of large graphs and datasets is one of the most important for practical applications. Recently, an increasing number of graph generative models have been proposed and have demonstrated impressive results. However, scalability is still an unresolved problem due to the complex generation process or difficulty in training parallelization. In this paper, we first define scalability from three different perspectives: number of nodes, data, and node/edge labels. Then, we propose GRAM, a generative model for graphs that is scalable in all three contexts, especially in training. We aim to achieve scalability by employing a novel graph attention mechanism, formulating the likelihood of graphs in a simple and general manner. Also, we apply two techniques to reduce computational complexity. Furthermore, we construct a unified and non-domain-specific evaluation metric in node/edge-labeled graph generation tasks by combining a graph kernel and Maximum Mean Discrepancy. Our experiments on synthetic and real-world graphs demonstrated the scalability of our models and their superior performance compared with baseline methods.

연구 동기 및 목표

• 노드 수, 데이터 볼륨, 레이블 복잡도 측면에서 그래프 생성 모델의 확장성 문제를 해결한다.
• 생성 품질을 저하시키지 않은 채 대규모 그래프와 데이터셋에 확장 가능한 훈련 효율성이 높은 생성 모델을 개발한다.
• 새로운 그래프 어텐션 메커니즘을 사용해 일반적이고 단순한 방식으로 그래프 가능도를 수식화하여 확장 가능한 훈련을 가능하게 한다.
• 노드 및 엣지 레이블이 부여된 그래프 생성을 위한 통합된, 도메인에 종속되지 않은 평가 지표를 도입한다. 이 지표는 그래프 커널과 Maximum Mean Discrepancy(MMD)를 기반으로 한다.
• 기존 방법들과 비교해 실질적 및 합성 그래프 벤치마크에서 뛰어난 성능과 확장성을 입증한다.

제안 방법

• 그래프 가능도의 효율적 계산을 가능하게 하는 그래프 어텐션 메커니즘을 제안하여 훈련 복잡도를 감소시킨다.
• 확장 가능한 훈련과 추론을 지원하기 위해 그래프 생성 가능도를 단순하고 일반적인 방식으로 수식화한다.
• 계산 복잡도를 감소시키기 위해 두 가지 기법을 적용하여 대규모 그래프에서의 훈련 효율성을 향상시킨다.
• 그래프 커널과 Maximum Mean Discrepancy(MMD)를 통합하여 레이블이 부여된 그래프 생성을 위한 통합 평가 지표를 구현한다.
• 모델을 도메인에 종속되지 않게 설계하여 다양한 그래프 생성 작업에 광범위하게 적용 가능하도록 한다.
• 학습된 분포에서 현실적인 그래프를 생성하기 위해 미분 가능한 가능도 목표 함수를 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 그래프 생성 모델이 노드 수, 데이터 볼륨, 레이블 복잡도 측면에서 동시에 확장성을 확보할 수 있는가?
• RQ2 제안된 그래프 어텐션 메커니즘이 기존 접근 방식에 비해 훈련 효율성과 확장성에 어떻게 기여하는가?
• RQ3 그래프 커널과 MMD를 기반으로 한 통합 평가 지표가 레이블이 부여된 그래프 생성에서 분포 유사성을 얼마나 효과적으로 캡처하는가?
• RQ4 실제 및 합성 데이터셋에서 기존 최신 기술 수준의 그래프 생성 모델들과 비교해 GRAM의 성능과 확장성은 어떠한가?

주요 결과

• GRAM은 기존 기준 모델들보다 훨씬 더 효율적인 방식으로 대규모 그래프와 데이터셋을 처리함으로써 훈련에서 뛰어난 확장성을 보였다.
• GRAM은 합성 및 실질적 그래프 생성 벤치마크에서 최신 기술 수준의 성능을 달성했다.
• 제안된 평가 지표는 노드 및 엣지 레이블이 부여된 그래프 생성 작업에서 분포 유사성을 효과적으로 캡처했다.
• 계산 복잡도 감소 기법은 생성 품질을 훼손하지 않은 채 훈련 속도를 크게 향상시켰다.
• GRAM은 확장성 조건에서도 높은 생성 품질을 유지하며, 가능도와 구조적 유사성 측면에서 기존 모델들을 능가했다.