[논문 리뷰] Semi-supervisedly Co-embedding Attributed Networks

Zaiqiao Meng, Shangsong Liang외 2명|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|2019. 10. 31.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

이 논문은 일반화된 준감독형 변분 오토인코더(SVAE)를 사용하여 노드와 속성에 대한 저차원 가우시안 임베딩을 동시에 학습하는 준감독형 공임베딩 모델인 SCAN을 제안한다. 노드와 속성 표현을 공유된 의미 공간에서 모델링하고, 분류 네트워크를 통해 부분적인 노드 레이블을 통합함으로써, PubMed, BlogCatalog, Flickr와 같은 실세계 데이터셋에서 노드 분류, 속성 추론, 사용자 프로파일링 성능을 향상시킨다. 이는 최신 기준 모델들을 능가한다.

ABSTRACT

Deep generative models (DGMs) have achieved remarkable advances. Semi-supervised variational auto-encoders (SVAE) as a classical DGM offer a principled framework to effectively generalize from small labelled data to large unlabelled ones, but it is difficult to incorporate rich unstructured relationships within the multiple heterogeneous entities. In this paper, to deal with the problem, we present a semi-supervised co-embedding model for attributed networks (SCAN) based on the generalized SVAE for heterogeneous data, which collaboratively learns low-dimensional vector representations of both nodes and attributes for partially labelled attributed networks semi-supervisedly. The node and attribute embeddings obtained in a unified manner by our SCAN can benefit for capturing not only the proximities between nodes but also the affinities between nodes and attributes. Moreover, our model also trains a discriminative network to learn the label predictive distribution of nodes. Experimental results on real-world networks demonstrate that our model yields excellent performance in a number of applications such as attribute inference, user profiling and node classification compared to the state-of-the-art baselines.

연구 동기 및 목표

• 기존 방법들이 노드 임베딩을 독립적으로 학습하고 부분적으로 레이블이 부여된 속성 네트워크에서 노드와 속성 간의 유사성을 포착하지 못하는 한계를 해결하기 위해.
• 노드 레이블의 일부를 활용하면서도 네트워크의 위상적 구조와 노드 속성을 함께 고려하여 표현 학습을 향상시키기 위해.
• 노드와 속성 표현의 불확실성을 가우시안 분포를 사용하여 모델링하여 강력하고 원칙적인 임베딩 추론을 가능하게 하기 위해.
• 에지 재구성, 속성 재구성, 노드 분류를 균형 있게 조정하는 변분 하한(lower bound)을 공동 최적화하여 후속 작업 성능을 향상시키기 위해.
• 노드 분류, 링크 예측, 속성 추론과 같은 준감독 작업에서 노드와 속성을 통합된 공간에 공임베딩하는 것이 효과적인지 입증하기 위해.

제안 방법

• SCAN은 노드와 속성을 학습 가능한 평균과 분산 파rameter를 가진 잠재 가우시안 분포로 모델링함으로써, 이질적 데이터에 대해 준감독형 변분 오토인코더(SVAE)를 확장한다.
• 모델은 다섯 개의 원자 관측값으로 구성된 변분 하한(lower bound, ELBO)을 공동 최적화한다: 노드 간 에지 재구성, 노드-속성 간 에지 재구성, 노드 레이블 예측.
• 두 층의 GCN 기반 인코더와 디코더를 사용하여 네트워크 전반에 정보를 전파하며, 인코더는 입력 특징을 잠재 가우시안 분포로 매핑하고, 디코더는 에지와 속성을 재구성한다.
• 유도된 노드 임베딩를 사용하여 노드 레이블을 예측하는 분류 네트워크를 학습함으로써, 제한된 레이블 데이터를 활용한 준감독 학습을 가능하게 한다.
• 에지와 속성 간 재구성 손실을 균형 조절하기 위해 하이퍼파rameter β를 사용하며, 링크 예측 또는 속성 추론과 같은 작업에 맞게 조정이 가능하다.
• 최적화는 학습률 0.01로 Adam 옵timizer를 사용하며, 특정 작업에 최적화된 성능을 얻기 위해 하이퍼파rameter α와 β를 튜닝한다.

Figure 1: Our model takes the adjacency matrix ( $\mathbf{A}$ ), the attribute matrix ( $\mathbf{X}$ ) and the partial node labels ( $\mathbf{Y}^{l}$ ) as input, and outputs Gaussian distributions as latent embeddings for all nodes and attributes ( $\mathbf{Z}^{n}$ and $\mathbf{Z}^{a}$ ), as well as

실험 결과

연구 질문

• RQ1 공유된 의미 공간에서 노드와 속성을 공동으로 공임베딩하면 준감독형 속성 네트워크 작업 성능이 향상되는가?
• RQ2 노드와 속성 임베딩에서 가우시안 분포를 통해 불확실성을 모델링하면 표현 품질과 후속 작업 성능에 어떤 영향을 미치는가?
• RQ3 부분적인 노드 레이블을 얼마나 효과적으로 활용하여 속성 네트워크에서 노드 분류, 속성 추론, 링크 예측 성능을 향상시킬 수 있는가?
• RQ4 에지 재구성과 속성 재구성 간의 균형(β로 제어)이 다양한 후속 작업 성능에 어떤 영향을 미치는가?
• RQ5 제안된 SCAN 모델이 실세계 속성 네트워크에서 노드 분류, 속성 추론, 링크 예측 작업에서 최신 기준 모델들을 능가하는가?

주요 결과

• BlogCatalog 데이터셋에서 SCAN은 노드 분류 성능에서 최신 기준 성능을 달성하였으며, 특히 레이블 비율이 증가할수록 분류기(SCAN_DIS)가 모든 기준 모델, 특히 Planetoid-T를 능가한다.
• SCAN에서 학습된 표현을 기반으로 훈련한 SVM 분류기는 두 번째로 높은 정확도를 기록하여, 학습된 노드 임베딩의 품질을 입증한다.
• BlogCatalog 데이터셋에서 β를 변화시킨 결과, 높은 β는 링크 예측 성능(AUC: 최대 0.88)을 향상시키지만 속성 추론 성능(AUC: 최소 0.84)을 떨어뜨리는 트레이드오���이 발생함을 확인하여, β가 작업별 최적화에 기여하는 것을 확인한다.
• 링크 예측과 속성 추론 작업에서 SCAN은 다양한 β 값에서도 강력한 성능 유지를 보이며, 노드 분류 최적화는 β = 0.5에서 달성된다.
• 실제 훈련 비용은 Flickr에서 10에포크당 약 57초, PubMed에서는 약 290초로, 중간 크기의 네트워크에서 합리적인 확장성을 보인다.
• 모델의 코드는 GitHub에서 공개되어 있어 재현성과 향후 연구를 용이하게 한다.

Figure 2: Probabilistic graphical model of our SCAN. Generative model dependencies are shown in solid arrows, while inference model dependencies are shown in dashed arrows.