[논문 리뷰] MEGAN: A Generative Adversarial Network for Multi-View Network Embedding

Yiwei Sun, Suhang Wang외 3명|arXiv (Cornell University)|2019. 08. 20.

Advanced Graph Neural Networks참고 문헌 17인용 수 4

한 줄 요약

MEGAN은 다중 시각 네트워크 임bedding를 위한 새로운 생성적 적대적 네트워크(GAN) 프레임워크를 제안하며, 개별 시각 내의 연결성과 시각 간 상관관계를 동시에 모델링하여 저차원, 비선형, 정보를 유지하는 노드 표현을 학습한다. 실제 다중 시각 네트워크인 Flickr와 Last.fm에서의 실험 결과, MEGAN은 노드 분류, 링크 예측, 시각화 작업에서 최신 기술들을 능가한다.

ABSTRACT

Data from many real-world applications can be naturally represented by multi-view networks where the different views encode different types of relationships (e.g., friendship, shared interests in music, etc.) between real-world individuals or entities. There is an urgent need for methods to obtain low-dimensional, information preserving and typically nonlinear embeddings of such multi-view networks. However, most of the work on multi-view learning focuses on data that lack a network structure, and most of the work on network embeddings has focused primarily on single-view networks. Against this background, we consider the multi-view network representation learning problem, i.e., the problem of constructing low-dimensional information preserving embeddings of multi-view networks. Specifically, we investigate a novel Generative Adversarial Network (GAN) framework for Multi-View Network Embedding, namely MEGAN, aimed at preserving the information from the individual network views, while accounting for connectivity across (and hence complementarity of and correlations between) different views. The results of our experiments on two real-world multi-view data sets show that the embeddings obtained using MEGAN outperform the state-of-the-art methods on node classification, link prediction and visualization tasks.

연구 동기 및 목표

• 비선형적이고 저차원의 임베딩을 통해 다중 시각 네트워크 표현 학습의 격차를 메우기 위해 다수의 네트워크 시각에서의 정보를 통합한다.
• 단일 시각 GAN에 존재하지 않는 다중 시각 네트워크에서의 내시각 연결성과 외시각 상관관계를 동시에 모델링하는 과제를 해결한다.
• 학습된 임베딩의 정확성과 강건성을 향상시키기 위해 적대적 샘플을 생성하는 GAN 기반 프레임워크를 개발한다.
• 후속 작업을 위한 레이블 데이터가 필요 없이 다중 시각 네트워크 임베딩을 비지도 학습할 수 있도록 한다.
• 다양한 평가 작업에서 기존 최신 기술 대비 제안된 방법의 우수성을 입증한다.

제안 방법

• 공통 잠재 공간에서 적대적 노드 임베딩로 매핑하는 생성자 네트워크를 설계하여 다중 시각 네트워크 구조를 재구성하도록 학습한다.
• 내시각 및 외시각 연결 패턴을 사용하여 실제 다중 시각 네트워크 샘플과 생성자에 의해 생성된 적대적 샘플을 구분하는 판별자 네트워크를 구성한다.
• 생성자와 판별자를 최소화-최대화 목적 함수를 사용해 적대적으로 훈련하며, 생성자는 판별자를 속이기 위해 현실적인 다중 시각 네트워크 구조를 생성하도록 목표로 한다.
• 각 개별 시각 내의 연결성을 유지하면서 시각 간 상관관계를 포착하기 위해 생성자를 함께 최적화하여 다중 시각 정보를 통합한다.
• 잠재 표현 간의 정렬을 위해 대비 손실을 사용하여 모델이 보완적인 특징을 학습하는 능력을 향상시킨다.
• 학습된 임베딩의 시각화를 위해 t-SNE를 적용하여 군집 품질과 구조적 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 내시각 연결성과 외시각 상관관계를 동시에 모델링함으로써 GAN 기반 프레임워크가 다중 시각 네트워크에 대해 저차원, 비선형 임베딩을 효과적으로 학습할 수 있는가?
• RQ2 다양한 시각 간 보완적인 정보 통합이 단일 시각 또는 다중 시각 기반 베이스라인 대비 네트워크 표현 품질을 얼마나 향상시키는가?
• RQ3 실제 다중 시각 네트워크에서 노드 분류, 링크 예측, 시각화 작업에서 MEGAN이 기존 최신 기술을 얼마나 뛰어넘는가?
• RQ4 MEGAN의 성능은 임bedding 차원의 선택에 얼마나 민감하며, 최적의 차원은 무엇인가?
• RQ5 MEGAN의 적대적 훈련 방식이 노이즈 또는 불완전한 네트워크 구조가 존재하는 상황에서 강건성과 일반화 능력을 향상시키는가?

주요 결과

• 노드 분류 작업에서 MEGAN은 최신 기술 성능을 달성하였으며, Flickr와 Last.fm 데이터셋 모두에서 임베딩 차원 128에서 최적의 성능을 보였다.
• 링크 예측 작업에서 MEGAN은 단일 시각 GAN 대비(예: GraphGAN) 및 기타 다중 시각 방법보다 뛰어난 성능을 보였으며, 시각 간 정보 통합의 효과를 입증하였다.
• t-SNE를 사용한 시각화 작업에서 MEGAN이 생성한 임베딩는 다른 방법 대비 사용자 관심 카테고리별로 더 단단하고 잘 분리된 군집을 생성하였다.
• 개별 시각의 연결 밀도와 신뢰도가 다를 경우에도 MEGAN의 성능은 일관되게 베이스라인보다 향상되었으며, 다양한 시각에 대해 강건함을 보였다.
• 다양한 시각이 서로 보완적인 정보를 제공할 경우, 특히 단일 시각만으로 정확한 예측을 내기 어려운 상황에서 모델의 성능 향상이 두드러졌다.
• 제거 실험 결과, 내시각 및 외시각 구조를 함께 모델링하는 것이 각 시각을 별도로 모델링하는 것보다 더 나은 표현 학습을 이끌어낸다는 것이 확인되었다.