[논문 리뷰] Distribution-induced Bidirectional Generative Adversarial Network for Graph Representation Learning

Shuai Zheng, Zhenfeng Zhu외 4명|arXiv (Cornell University)|2019. 12. 04.

Advanced Graph Neural Networks참고 문헌 40인용 수 4

한 줄 요약

이 논문은 구조 인식 사전 분포를 추정하는 프로토타입 학습을 통해 강건하고 구분력 있는 노드 표현을 가능하게 하는 분포 유도 이중성 생성 대비 신경망(DBGAN)을 제안한다. 그래프 공간과 잠재 공간 간의 이중성 대비 학습을 강제화함으로써 DBGAN은 링크 예측 및 노드 클러스터링에서 뛰어난 성능을 달성하며 일반화 능력과 차원 효율성이 향상된다.

ABSTRACT

Graph representation learning aims to encode all nodes of a graph into low-dimensional vectors that will serve as input of many compute vision tasks. However, most existing algorithms ignore the existence of inherent data distribution and even noises. This may significantly increase the phenomenon of over-fitting and deteriorate the testing accuracy. In this paper, we propose a Distribution-induced Bidirectional Generative Adversarial Network (named DBGAN) for graph representation learning. Instead of the widely used normal distribution assumption, the prior distribution of latent representation in our DBGAN is estimated in a structure-aware way, which implicitly bridges the graph and feature spaces by prototype learning. Thus discriminative and robust representations are generated for all nodes. Furthermore, to improve their generalization ability while preserving representation ability, the sample-level and distribution-level consistency is well balanced via a bidirectional adversarial learning framework. An extensive group of experiments are then carefully designed and presented, demonstrating that our DBGAN obtains remarkably more favorable trade-off between representation and robustness, and meanwhile is dimension-efficient, over currently available alternatives in various tasks.

연구 동기 및 목표

• 기존 그래프 표현 학습 방법이 임의의 정규 분포 사전 분포에 의존하는 한계를 해결함으로써 과적합과 낮은 강건성 문제를 방지한다.
• 구조 인식 방식으로 진정한 데이터 분포를 모델링함으로써 학습된 노드 표현의 일반화 능력과 강건성을 향상시킨다.
• 이중성 대비 학습 프레임워크를 통해 샘플 수준과 분포 수준의 일관성을 균형 있게 유지함으로써 국소적 및 전반적 그래프 구조를 보존한다.
• 낮은 차원 설정에서도 뛰어난 표현 능력을 유지하면서도 차원 효율성을 확보하는 방법을 개발하여 기존 방법들을 능가한다.

제안 방법

• 표준 정규 사전 분포를 그래프 공간과 특징 공간에서 학습된 다중 도메인 프로토타입을 통해 추정한 구조 인식 사전 분포로 대체한다.
• 이중성 대비 프레임워크를 도입: 생성자는 잠재 표현을 다시 그래프 데이터로 매핑하고, 구분자는 양방향에서 진짜 및 생성된 샘플을 구분한다.
• 프로토타입 학습을 통해 그래프 공간과 특징 공간을 암묵적으로 정렬함으로써 잠재 공간에서의 구조 일관성을 포착할 수 있도록 한다.
• 대비 손실을 통해 인코더와 생성기를 동시에 학습함으로써 분포 일관성을 강제하고 노이즈 및 과도한 스무딩에 대한 강건성을 향상시킨다.
• 대비 학습을 통해 다중 수준 일관성(샘플 및 분포)을 균형 있게 유지함으로써 개별 노드 표현과 전반적 데이터 분포가 모두 보존되도록 한다.
• t-SNE 시각화를 적용하여 DBGAN이 저차원 공간에서 클래스 간 분리성과 인접성 관계를 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 표준 정규 사전 분포와 비교해 구조 인식 사전 분포 추정이 그래프 표현 학습의 강건성과 일반화 능력을 향상시키는가?
• RQ2 잠재 공간과 그래프 공간 간의 이중성 대비 학습이 표현 품질과 분포 일관성 양측을 향상시키는가?
• RQ3 제안된 방법은 링크 예측 및 노드 클러스터링 작업에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ4 잠재 표현의 차원이 제안된 모델의 성능에 얼마나 큰 영향을 미치는가?
• RQ5 감독 없이 저차원 공간에서도 모델이 구조적 및 특징적 관계를 유지할 수 있는가?

주요 결과

• CorA 데이터셋에서 DBGAN은 링크 예측 AUC 94.5%와 노드 클러스터링 NMI 75.9%를 기록하여 모든 추상화 변형 및 기준 모델들을 능가한다.
• 추상화 연구 결과, 이중성 대비 학습(BAL) 또는 사전 분포 추정(PDE)을 제거할 경우 성능 저하가 심각하게 발생하며, AUC가 각각 2.1%와 1.5% 감소한다.
• DBGAN은 낮은 차원의 잠재 표현(예: 128차원)에서도 뛰어난 성능을 유지하여 고차원이 필요한 기존 방법들에 비해 뛰어난 차원 효율성을 보여준다.
• 시각화 결과, GAE, DGI 및 원본 특징과 비교해 DBGAN이 생성한 표현은 더 명확한 클래스 분리성과 감소된 내부 클래스 산산이 관찰된다.
• BAL과 PDE를 모두 적용한 모델가 모든 지표에서 최고 성능을 기록하여 두 구성 요소가 강건성과 표현 품질 향상에 상호 보완적인 역할을 한다는 것을 확인한다.
• 잠재 차원이 증가할수록 성능이 향상되지만, DBGAN은 여전히 낮은 차원(예: 64–128)에서도 최신 기술 수준의 성능을 달성하여 효율성을 입증한다.