[논문 리뷰] Relation Learning on Social Networks with Multi-Modal Graph Edge Variational Autoencoders

Carl Yang, Jieyu Zhang외 6명|arXiv (Cornell University)|2019. 11. 04.

Advanced Graph Neural Networks참고 문헌 39인용 수 4

한 줄 요약

이 논문은 사회적 네트워크 링크의 잠재 관계 분포를 그래프 컬러레이션 네트워크와 텍스트, 속성, 확산 신호를 위한 다중 복원 헤드를 사용하여 공동으로 모델링하는 멀티모달 그래프 엣지 변동형 오토인코더인 ReLearn을 제안한다. 이는 노이즈가 많고 완전하지 않은 데이터에 대해 강건하며, 생성 샘플링과 다중 디코더 디코딩을 통해 해석 가능한 관계 발견을 가능하게 하여 비지도 관계 학습에서 뛰어난 성능을 달성한다.

ABSTRACT

While node semantics have been extensively explored in social networks, little research attention has been paid to profile edge semantics, i.e., social relations. Ideal edge semantics should not only show that two users are connected, but also why they know each other and what they share in common. However, relations in social networks are often hard to profile, due to noisy multi-modal signals and limited user-generated ground-truth labels. In this work, we aim to develop a unified and principled framework that can profile user relations as edge semantics in social networks by integrating multi-modal signals in the presence of noisy and incomplete data. Our framework is also flexible towards limited or missing supervision. Specifically, we assume a latent distribution of multiple relations underlying each user link, and learn them with multi-modal graph edge variational autoencoders. We encode the network data with a graph convolutional network, and decode arbitrary signals with multiple reconstruction networks. Extensive experiments and case studies on two public DBLP author networks and two internal LinkedIn member networks demonstrate the superior effectiveness and efficiency of our proposed model.

연구 동기 및 목표

• 관계가 자주 부족하게 정의되고 노이즈가 많은 경우가 많은 사회적 네트워크 링크에서 암묵적인 관계 의미를 학습하는 데 도전하는 것.
• 네트워크 근접성, 사용자 속성, 정보 확산 등의 멀티모달 신호를 통합하여 엣지 수준의 관계 모델링을 위한 통합 프레임워크에 통합하는 것.
• 제한된 또는 지도 없는 환경에서도 효과적으로 작동하는 유연하고 강건하며 확장 가능한 모델을 개발하는 것.
• 학습된 잠재 분포에서 샘플링하고 다중 디코더 디코딩을 통해 엣지 표현을 생성함으로써 관계의 해석 가능한 발견을 가능하게 하는 것.

제안 방법

• 대규모 네트워크에서 노드 및 엣지 표현을 인코딩하기 위해 이웃 샘플링을 사용하는 그래프 컬러레이션 네트워크(GCN)를 사용한다.
• 전역 관계 프로토타입을 가우시안 성분으로 가지는 가우시안 믹스처 변동형 오토인코더(GM-VAE)가 링크당 관계 유형의 잠재 분포를 모델링한다.
• 전역 파라미터와 국소 관계 분포를 추정하기 위해 두 단계의 몬테카를로 샘플링을 사용한다.
• 텍스트, 사용자 속성, 정보 확산에서 오는 신호를 복원하기 위해 전용의 다중 디코더를 사용하여 멀티모달 신호 통합을 가능하게 한다.
• 엔코더와 다중 디코더의 공동 최적화를 가능하게 하기 위해 재구성 손실을 통해 엔드 투 엔드로 프레임워크를 훈련시킨다.
• 학습된 믹스처 모델에서 샘플링을 통해 엣지 표현을 생성함으로써 관계 특화 콘텐츠의 생성과 해석이 가능해진다.

실험 결과

연구 질문

• RQ1 사회적 네트워크 링크에서 관계 학습을 위해 네트워크 구조, 사용자 속성, 정보 확산 등의 멀티모달 신호를 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 노이즈가 많고 완전하지 않은 데이터 상황에서 링크당 관계의 잠재 분포를 어떻게 학습할 수 있는가?
• RQ3 다양한 모odal을 동시에 재구성하면서도 속성 노이즈와 누락된 링크에 대해 강건성을 유지하는 통합 생성 모델은 가능한가?
• RQ4 생성 샘플링과 다중 디코더 디코딩을 통해 학습된 잠재 관계를 어떻게 해석할 수 있는가?

주요 결과

• ReLearn는 두 개의 공개 DBLP 네트워크와 두 개의 내부 LinkedIn 네트워크에서 관계 학습 작업에서 최신 기술 수준의 성능을 달성하였으며, 링크 예측과 관계 분류 모두에서 강력한 베이스라인을 능가한다.
• 모델는 속성 노이즈에 대해 강력한 내성성을 보이며, 최대 50%의 속성 벡터가 단위 가우시안 노이즈로 손상된 경우에도 높은 성능을 유지한다.
• 링크 제거 상황에서도 ReLearn는 효과적이며, 네트워크에서 존재하는 링크의 2%에서 10%가 무작위로 제거된 경우에도 안정적인 성능을 유지한다.
• PCA를 사용한 학습된 엣지 표현의 시각화 결과에서 관계 유형(예: 동료, 동문) 간의 명확한 클러스터링이 관찰되어, 모델가 서로 다른 관계를 분리하는 능력을 확인할 수 있다.
• 학습된 가우시안 믹스처 모델에서의 생성 샘플링과 다중 헤드를 통한 디코딩을 통해 해석 가능한 콘텐츠 패턴을 드러낸다: 예를 들어, 동료에 대해서는 'Management'와 'Performance', 동문에 대해서는 'Learning'과 'Advising'가 나타난다.
• ReLearn의 런타임은 PTE와 GraphSage와 같은 효율적인 베이스라인과 유사하며, STNE와 Inf2vec와 같은 무거운 모델보다도 훨씬 빠르며 확장성에 유리하다.