[논문 리뷰] MultiNet: Scalable Multilayer Network Embeddings.

Arunkumar Bagavathi, Siddharth Krishnan|arXiv (Cornell University)|2018. 05. 25.

Advanced Graph Neural Networks인용 수 3

한 줄 요약

Multi-Net은 노드2베크 및 라인과 같은 기법을 다중 네트워크 레이어를 동시에 처리할 수 있도록 확장하여, 다층 네트워크에서 분산 표현을 학습하는 확장성 있고 빠른 방법이다. 트위터의 친구 및 팔로워 네트워크와 같은 복잡한 사회 네트워크를 트윗 내용에서 추출한 언급 및 재트윗과 같은 레이어를 활용하여 효과적으로 재구성할 수 있으며, 다층 네트워크 임베딩의 실현 가능성을 입증한다.

ABSTRACT

Representation learning of networks via embeddings has garnered popularity and has witnessed significant progress recently. Such representations have been effectively used for classic network-based machine learning tasks like link prediction, community detection, and network alignment. However, most existing network embedding techniques largely focus on developing distributed representations for traditional flat networks and are unable to capture representations for multilayer networks. Large scale networks such as social networks and human brain tissue networks, for instance, can be effectively captured in multiple layers. In this work, we propose Multi-Net a fast and scalable embedding technique for multilayer networks. Our work adds a new wrinkle to the the recently introduced family of network embeddings like node2vec, LINE, DeepWalk, SIGNet, sub2vec, graph2vec, and OhmNet. We demonstrate the usability of Multi-Net by leveraging it to reconstruct the friends and followers network on Twitter using network layers mined from the body of tweets, like mentions network and the retweet network. This is the Work-in-progress paper and our preliminary contribution for multilayer network embeddings.

연구 동기 및 목표

• 기존의 네트워크 임베딩 방법이 단일 레이어 네트워크에만 초점을 맞추고 다층 네트워크 구조를 모델링하지 못하는 격차를 보완하기 위해.
• 다중 상호의존적 네트워크 레이어를 통해 표현을 학습할 수 있는 확장성 있고 효율적인 임베딩 기법을 개발하기 위해.
• 텍스트 콘텐츠에서 유도된 레이어(예: 트위터에서의 언급 및 재트윗)를 사용하여 실제 사회 네트워크를 재구성하는 데에 다층 네트워크 임베딩의 유용성을 입증하기 위해.
• 초기 실증 검증을 제공하는 진행 중인 프레임워크를 제시하여 향후 다층 네트워크 표현 학습 분야의 연구 기반을 마련하기 위해.

제안 방법

• Multi-Net은 다중 네트워크 레이어를 동시에 모델링하여 각 레이어를 별개이지만 상호관련성이 있는 네트워크로 간주함으로써 기존의 네트워크 임베딩 프레임워크를 확장한다.
• 노드 임베딩을 학습하기 위해 음성 샘플링을 활용한 스킵그램 유사 아키텍처를 사용하여 레이어 간의 구조적 관계를 유지한다.
• 레이어별 중요도와 연결 패턴을 고려한 가중치 기반 융합 전략을 사용하여 개별 레이어의 표현을 통합한다.
• 트위터 데이터에서의 언급 및 재트윗과 같은 다중 레이어의 노드 컨텍스트를 활용하여 더 풍부하고 정보량이 많은 임베딩을 생성한다.
• 샘플링 전략과 분산 계산 원리를 활용하여 대규모 네트워크에서의 효율적 학습을 지원한다.
• 이질적인 네트워크 레이어 간의 의미적 및 구조적 일관성을 유지하기 위해 레이어별 특징을 임베딩 공간에 통합한다.

실험 결과

연구 질문

• RQ1 확장 가능한 임베딩 방법이 다층 네트워크에서 레이어 간의 구조적 의존성을 포착하는 표현을 효과적으로 학습할 수 있는가?
• RQ2 트윗 콘텐츠에서 유도된 레이어만을 사용하여 Multi-Net이 알려진 네트워크 구조(예: 트위터의 친구 및 팔로워 네트워크)를 얼마나 잘 재구성할 수 있는가?
• RQ3 다양한 상호작용 유형(예: 언급, 재트윗)을 조합할 경우 학습된 노드 임베딩의 품질에 어떤 영향을 미치는가?
• RQ4 실제 다층 네트워크 데이터에서 단일 레이어 임베딩 방법에 비해 Multi-Net이 복잡한 네트워크 현상을 얼마나 잘 포착하는가?
• RQ5 다층 네트워크 임베딩이 평탄한 네트워크 임베딩에 비해 링크 예측 또는 커뮤니티 탐지와 같은 후행 작업에서 얼마나 향상된 성능을 보이는가?

주요 결과

• Multi-Net은 트윗 콘텐츠에서 파생된 언급 및 재트윗과 같은 다중 상호작용 레이어를 통합하여 의미 있는 노드 임베딩을 성공적으로 학습한다.
• 프레임워크는 트위터의 기존 친구 및 팔로워 네트워크를 레이어에서 추출된 상호작용 정보만을 사용하여 재구성할 수 있으며, 실용적 유용성을 입증한다.
• 다양한 레이어를 조합함으로써 단일 레이어 방법보다 더 풍부한 구조적 및 의미적 정보를 포착하여 표현 품질을 향상시킨다.
• 대규모 네트워크에 대해 효율적으로 확장 가능하여 실생활 응용(예: 사회 네트워크 분석)에 적합하다.
• 초기 결과에서는 다층 임베딩이 평탄한 네트워크 임베딩에 비해 복잡한 네트워크 구조와 사용자 관계를 더 잘 포착하는 것으로 나타났다.
• 실제 데이터에 대한 초도 검증을 제공하며, 다층 네트워크 표현 학습 분야의 향후 연구 기반을 마련한다.