[논문 리뷰] Labeled Graph Generative Adversarial Networks

Shuangfei Fan, Bert Huang|arXiv (Cornell University)|2019. 06. 07.

Cell Image Analysis Techniques참고 문헌 28인용 수 19

한 줄 요약

이 논문은 레이블이 부여된 그래프 생성 적대적 네트워크(LGGAN)를 제안한다. LGGAN은 생성자(generator)가 노드 레이블과 인접 행렬을 생성하도록 훈련시키고, 잔차 연결을 갖춘 그래프 컨volution 네트워크(discriminator)가 진짜 그래프와 생성된 그래프를 구분하도록 하는 딥 생성 모델이다. LGGAN은 구조적 유사성, 다양한 그래프 크기 및 도메인에 대한 일반화 능력, 다양성 측면에서 기존 방법들을 능가하며, 훈련 데이터의 핵심 분포적 성질을 유지한다.

ABSTRACT

As a new approach to train generative models, \emph{generative adversarial networks} (GANs) have achieved considerable success in image generation. This framework has also recently been applied to data with graph structures. We propose labeled-graph generative adversarial networks (LGGAN) to train deep generative models for graph-structured data with node labels. We test the approach on various types of graph datasets, such as collections of citation networks and protein graphs. Experiment results show that our model can generate diverse labeled graphs that match the structural characteristics of the training data and outperforms all alternative approaches in quality and generality. To further evaluate the quality of the generated graphs, we use them on a downstream task of graph classification, and the results show that LGGAN can faithfully capture the important aspects of the graph structure.

연구 동기 및 목표

• 노드 레이블과 복잡한 구조를 모두 갖춘 현실적인 레이블이 부여된 그래프 구조 데이터를 생성할 수 있는 딥 생성 모델을 개발하는 것.
• 기존 그래프 GAN이 노드 레이블을 처리하지 못하거나 다양한 그래프 유형과 크기에 일반화할 수 없는 한계를 해결하는 것.
• 실제 세계의 구조를 모방하면서도 민감한 정보를暴露하지 않는 합성 그래프를 생성함으로써 프라이버시 보호 그래프 데이터 공유를 가능하게 하는 것.
• 하류의 그래프 분류 작업과 구조적 메트릭을 사용하여 생성된 그래프의 품질을 평가하는 것.
• 훈련 예제의 단순 복제가 아닌 다양성을 갖춘 그래프를 생성하여 새로운 사고와 현실성의 균형을 이루는 것.

제안 방법

• 생성자 네트워크는 잠재 노이즈 벡터에서 완전한 레이블이 부여된 그래프로 매핑하는 법을 학습하며, 인접 행렬과 노드 레이블을 모두 생성한다.
• 판별자(discriminator)는 잔차 연결을 갖춘 그래프 컨volution 네트워크(GCN)를 사용하여 진짜 그래프와 생성된 그래ph를 구분하기 위해 적응적이고 구조 인식 가능한 고수준 특징을 추출한다.
• GAN 프레임워크는 생성자와 판별자를 적대적으로 훈련시키며, 생성자는 판별자를 속이도록, 판별자는 가짜를 탐지하도록 개선된다.
• 생성된 그래프와 훈련 데이터 간의 다양성을 정량적으로 평가하기 위해 Weisfeiler-Lehman 커널 기반의 거리 메트릭을 사용한다.
• 그래프 구조와 레이블 생성이 훈련 중에 함께 최적화되어 노드 속성과 위상적 구조 간의 일관성을 확보한다.
• 평가에는 내재 메트릭(MMD, 커널 거리)과 합성 데이터에서의 하류 그래프 분류 성능이 포함된다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 실제 세계의 그래프 데이터셋의 구조적 및 분포적 성질을 유지하면서 효과적으로 레이블이 부여된 그래프를 생성할 수 있는가?
• RQ2 LGGAN은 다양한 그래프 유형과 크기에서 기존의 전통적 및 딥 생성 모델과 비교해 구조적 유사성과 다양성 측면에서 어떻게 성능을 내는가?
• RQ3 LGGAN은 시맨틱 네트워크와 단백질 상호작용 그래프와 같은 새로운 그래프 도메인으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 노드 레이블을 포함함으로써 레이블을 忽시하는 모델에 비해 생성된 그래프의 현실성과 품질이 향상되는가?
• RQ5 그래프 분류와 같은 하류 작업에서 생성된 그래프가 얼마나 잘 성능을 내는가? 이는 기저 데이터 분포를 충실하게 반영하고 있는지를 나타낸다.

주요 결과

• LGGAN은 Cora, CiteSeer, PROTEINS, ENZYMES 등의 다양한 데이터셋에서 진짜 데이터의 구조적 특성, 즉 차수 분포, 클러스터링, 커뮤니티 구조를 충족하는 레이블이 부여된 그래프를 생성한다.
• Cora-small 및 Cora 데이터셋에서 LGGAN은 큰 그래프로 확장되더라도 최대 평균 이격도(MMD) 점수의 증가가 최소화되어 강한 확장성과 일관성을 유지한다.
• LGGAN은 MolGAN, DeepGMG, GraphRNN, 전통적 모델인 E-R 및 B-A를 포함한 모든 베이스라인 모델보다 품질과 일반화 능력에서 뛰어나며, 특히 크고 다양한 그래프 유형에서 두각을 나타낸다.
• Weisfeiler-Lehman 커널 거리 측정을 통해 높은 다양성을 확보하였다: 생성된 그래프들은 훈련 데이터 그래프의 정확한 복제이거나 지나치게 다를 바 없이 균형 잡힌 새로운 사고와 현실성을 보여준다.
• 하류 그래프 분류 작업에 사용되었을 때, LGGAN이 생성한 그래프는 경쟁적인 성능을 기록하였으며, 이는 실제 데이터의 중요한 구조적 및 레이블 기반 특징을 충실하게 반영하고 있음을 보여준다.
• LGGAN은 평가된 모델들 중에서 유일하게 시맨틱 네트워크와 분자 그래프를 포함한 여러 도메인에서 일관되게 뛰어난 성능을 내어 광범위한 적용 가능성과 낮은 특화 성향을 보였다.