[논문 리뷰] mvn2vec: Preservation and Collaboration in Multi-View Network Embedding

Yu Shi, Fangqiu Han외 5명|arXiv (Cornell University)|2018. 01. 19.

Advanced Graph Neural Networks참고 문헌 53인용 수 57

한 줄 요약

본 논문은 다중 시야(multiview) 네트워크 임베딩의 핵심 목표로 보존(preservation)과 협업(collaboration)을 식별하고, 이를 함께 모델링하는 mvn2vec-con 및 mvn2vec-reg를 제안하며, 공동 모델링이 도움이 될 때를 실험으로 보인다.

ABSTRACT

Multi-view networks are broadly present in real-world applications. In the meantime, network embedding has emerged as an effective representation learning approach for networked data. Therefore, we are motivated to study the problem of multi-view network embedding with a focus on the optimization objectives that are specific and important in embedding this type of network. In our practice of embedding real-world multi-view networks, we explicitly identify two such objectives, which we refer to as preservation and collaboration. The in-depth analysis of these two objectives is discussed throughout this paper. In addition, the mvn2vec algorithms are proposed to (i) study how varied extent of preservation and collaboration can impact embedding learning and (ii) explore the feasibility of achieving better embedding quality by modeling them simultaneously. With experiments on a series of synthetic datasets, a large-scale internal Snapchat dataset, and two public datasets, we confirm the validity and importance of preservation and collaboration as two objectives for multi-view network embedding. These experiments further demonstrate that better embedding can be obtained by simultaneously modeling the two objectives, while not over-complicating the model or requiring additional supervision. The code and the processed datasets are available at http://yushi2.web.engr.illinois.edu/.

연구 동기 및 목표

• 실세계 실무를 바탕으로 다중 시야 네트워크 임베딩에 특화된 목표(보존 및 협업)를 식별한다.
• 보존과 협업이 공존하는 경우와 그것이 임베딩 품질에 어떤 영향을 주는지 분석한다.
• 추가 감독 없이 두 가지 목표를 모두 모델링하기 위해 mvn2vec-con 및 mvn2vec-reg를 제안한다.
• synthetic 및 실제 데이터셋에서 보존과 협업의 다양한 정도가 임베딩 성능에 미치는 영향을 평가한다.

제안 방법

• 다중 시야 네트워크를 정의하고 각 시야에 대한 중심/컨텍스트 임베딩을 정의한다.
• 시야별 구조를 보존하기 위한 시야 내 스킵그램 스타일 손실을 도입한다.
• 교차 시야 컨텍스트 임베딩에 제약을 두고 공유 매개변수(theta가 공유를 제어하도록 하여 협업을 촉진하는 mvn2vec-con를 제안한다.
• 시야 간 정규화를 통해 시야별 임베딩을 보존하면서 협업을 촉진하는 gamma 항과 함께 mvn2vec-reg를 제안한다.
• 확장 가능하도록 무작위 보행 기반 샘플링과 음의 샘플링(skip-gram)을 사용한다.
• ASGD 최적화와 mvn2vec-con 및 mvn2vec-reg에 대한 그래디언트를 제공하고 복잡도에 대해 논의한다.

실험 결과

연구 질문

• RQ1 다중 시야 네트워크 임베딩의 두 가지 목표(보존과 협업)는 무엇이며 왜 중요한가?
• RQ2 보존과 협업을 공동으로 모델링하는 것이 한 가지 목표에 집중하는 모델보다 더 나은 임베딩을 생성할 수 있는가?
• RQ3 추가 감독 없이 mvn2vec-con과 mvn2vec-reg가 이러한 목표를 구현하는 방법은 무엇인가?
• RQ4 이 방법들이 합성 및 실제 다중 시야 네트워크에서 다운스트림 태스크에서 어떻게 성능을 내는가?

주요 결과

• 보존과 협업은 모두 영향력이 있으며 두 목표의 상대적 중요성은 데이터에 따라 다르다(예: YouTube 대 Twitter).
• 공동 모델링(mvn2vec-con 또는 mvn2vec-reg)은 협업이 유리할 때 단일 목표 접근법보다 우수할 수 있으며, 다른 경우에는 시야 고유의 의미를 보존하는 것이 유리하다.
• 합성 및 실제 데이터 세트에 대한 실험에서 제안된 모델이 보존과 협업을 모두 도입하는 유용성을 검증한다.
• 독립적 모델은 보존에 더 가깝고, 한 공간(one-space) 모델은 협업을 강조하며, mvn2vec 변형들이 두 목표의 균형을 이룬다.