[논문 리뷰] Deep Generative Models for Relational Data with Side Information

Changwei Hu, Piyush Rai외 1명|arXiv (Cornell University)|2017. 06. 16.

Bayesian Methods and Mixture Models참고 문헌 1인용 수 7

한 줄 요약

이 논문은 다층 잠재 특징을 통해 계층적이고 겹치는 커뮤니티 구조를 학습하는 딥 생성 모델을 제안하며, 노드 측 정보는 회귀 기반 매핑을 통해 통합한다. 데이터 증강을 통한 완전한 국소 코어너시를 활용해 간편한 깁스 샘플링을 가능하게 하며, 간선 수 복잡도를 갖추어 희박하고 복잡한 네트워크에서 최신 기술 수준의 링크 예측 및 커뮤니티 탐지 성능을 달성하며, 더 나은 해석 가능성과 확장성까지 확보한다.

ABSTRACT

We present a probabilistic framework for overlapping community discovery and link prediction for relational data, given as a graph. The proposed framework has: (1) a deep architecture which enables us to infer multiple layers of latent features/communities for each node, providing superior link prediction performance on more complex networks and better interpretability of the latent features; and (2) a regression model which allows directly conditioning the node latent features on the side information available in form of node attributes. Our framework handles both (1) and (2) via a clean, unified model, which enjoys full local conjugacy via data augmentation, and facilitates efficient inference via closed form Gibbs sampling. Moreover, inference cost scales in the number of edges which is attractive for massive but sparse networks. Our framework is also easily extendable to model weighted networks with count-valued edges. We compare with various state-of-the-art methods and report results, both quantitative and qualitative, on several benchmark data sets.

연구 동기 및 목표

• 관계 네트워크에서 복잡하고 계층적인 커뮤니티 구조를 포괄하지 못하는 단일 레이어 잠재 특징 모델의 한계를 해결하기 위해.
• 다중 레이어의 겹치는 잠재 특징을 학습하여 희박한 네트워크에서 링크 예측 및 커뮤니티 탐지 성능을 향상시키기 위해.
• 특히 콜드 스타트 시나리오에서 일반화 능력을 향상시키기 위해 노드 측 정보(속성)를 잠재 특징 학습 과정에 직접 통합하기 위해.
• 데이터 증강과 닫힘형 깁스 샘플링을 통해 효율적인 추론이 가능한 완전한 베이지안 모델을 개발하여 간선 수에 비례해 선형적으로 확장 가능하게 하기 위해.

제안 방법

• 각 노드에 대해 다중 레이어의 이진 잠재 특징을 사용하는 딥 아키텍처를 활용하여 계층적이고 겹치는 커뮤니티 탐지가 가능하도록 한다.
• 간선 확률을 모델링하기 위해 이중선형 링크 함수 p(Aij=1) = g(z_i^T Λ z_j)를 사용한다.
• 노드 속성 S에서 잠재 특징으로의 변환을 위한 학습 가능한 가중치 w^(ℓ)_k와 편향 b^(ℓ)_k를 활용해 측면 정보를 통합한다.
• 포리아-개미 데이터 증강을 적용해 완전한 국소 코어너시를 달성하고, 모든 잠재 변수에 대해 닫힘형 깁스 샘플링을 가능하게 한다.
• 가중치가 있는 네트워크로의 확장을 위해 감마-포isson 구성법을 사용한다.
• 클러스터 할당을 위해 차이니즈 레스토랑 테이블(CRT) 사전분포를, 모델 파라미터를 위해 감마-노멀 계층적 사전분포를 사용하여 비모수적 클러스터링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비평면적 단일 레이어 모델 대비 계층적 다층 잠재 특징 모델이 복잡하고 희박한 네트워크에서 링크 예측 성능을 향상시킬 수 있는가?
• RQ2 노드 속성(측면 정보)이 링크 예측 및 커뮤니티 탐지에 얼마나 효과적으로 활용될 수 있는가, 특히 간선 수가 적거나 콜드 스타트 시나리오에서의 성능 향상 여부는?
• RQ3 모델이 노드 수가 아닌 간선 수에 비례해 확장되도록 함으로써 대규모 희박한 네트워크에서 계산 효율성과 확장성 유지 여부는?
• RQ4 다중 잠재 레이어의 계층적 구조가 복잡한 커뮤니티 상호의존성의 포착과 더불어 얼마나 높은 해석 가능성 향상을 이룰 수 있는가?

주요 결과

• 제안된 모델은 다양한 벤치마크 데이터셋에서 기존 방법들인 LFRM, DeepWalk, GCN를 능가하는 최신 기술 수준의 링크 예측 성능을 달성한다.
• 측면 정보를 통합함으로써 희박한 네트워크에서 성능 향상이 뚜렷하며, 관측된 연결이 없는 신규 노드에 대한 효과적인 콜드 스타트 예측이 가능하다.
• 모델은 간선 수에 비례해 효율적으로 확장되어, 소셜 네트워크나 인용 그래프와 같은 대규모 희박한 실세계 네트워크에 적합하다.
• 다중 잠재 레이어의 계층적 구조는 커뮤니티 소속의 더 나은 해석 가능성과 복잡하고 상호의존적인 클러스터 관계의 포착을 가능하게 한다.
• 포리아-개미 증강을 활용함으로써 완전한 국소 코어너시와 효율적인 깁스 샘플링이 가능해지며, 추론 비용은 관측된 간선 수에 비례한다.
• 감마-포isson 구성법을 통해 가중치가 있는 네트워크로의 자연스러운 확장이 가능하며, 동일한 추론 효율성을 유지한다.