[논문 리뷰] Don't Walk, Skip! Online Learning of Multi-scale Network Embeddings

Bryan Perozzi, Vivek Kulkarni외 2명|arXiv (Cornell University)|2016. 05. 06.

Complex Network Analysis Techniques인용 수 38

한 줄 요약

WALKLETS는 고정 길이의 경로를 통해 도달 가능한 정점 쌍을 생성하기 위해 '건너뛰기'를 적용한 랜덤 워크를 샘플링하는 온라인 알고리즘으로, 다중 척도 네트워크 임베딩을 학습한다. 다중 레이블 분류 작업에서 DeepWalk에 비해 최대 10% 향상되고, LINE에 비해 58% 향상되며, 수백만 개의 노드를 포함한 대규모 그래프에서도 효율적으로 확장된다.

ABSTRACT

We present Walklets, a novel approach for learning multiscale representations of vertices in a network. In contrast to previous works, these representations explicitly encode multiscale vertex relationships in a way that is analytically derivable. Walklets generates these multiscale relationships by subsampling short random walks on the vertices of a graph. By `skipping' over steps in each random walk, our method generates a corpus of vertex pairs which are reachable via paths of a fixed length. This corpus can then be used to learn a series of latent representations, each of which captures successively higher order relationships from the adjacency matrix. We demonstrate the efficacy of Walklets's latent representations on several multi-label network classification tasks for social networks such as BlogCatalog, DBLP, Flickr, and YouTube. Our results show that Walklets outperforms new methods based on neural matrix factorization. Specifically, we outperform DeepWalk by up to 10% and LINE by 58% Micro-F1 on challenging multi-label classification tasks. Finally, Walklets is an online algorithm, and can easily scale to graphs with millions of vertices and edges.

연구 동기 및 목표

• 기존의 네트워크 표현 학습 방법이 단일한 '일괄적' 표현을 사용하여 사회적 네트워크 내 계층적이고 다중 척도의 커뮤니티 구조를 포착하지 못하는 한계를 해결하기 위해.
• 그래프 내 정점 간 관계의 다중 척도를 명시적으로 모델링하고 유지함으로써 더 세밀하고 정확한 예측 모델링을 가능하게 하는 방법을 개발하기 위해.
• 밀도 높은 행렬을 실체화하지 않고도 고품질의 분석적으로 기반을 둔 다중 척도 표현을 학습할 수 있는 확장 가능한 온라인 알고리즘을 만들기 위해.
• 실제 다중 레이블 네트워크 분류 작업에서 다중 척도 표현이 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• WALKLETS는 랜덤 워크에서 '건너뛰기'를 적용하여 정점 쌍의 코퍼스를 생성한다. 즉, 워크의 고정 간격으로 정점을 선택함으로써 특정 경로 길이에서의 관계를 인코딩한다.
• 이 방법은 샘플된 정점 쌍에 대해 워드2비트 스타일의 스위프트 그램 모델을 온라인 학습으로 훈련하여 고차원의 구조적 관계를 포착하는 잠재 표현을 학습한다.
• 각 학습된 임베딩 차원은 특정 척도의 연결성에 해당하며, 짧은 건너뛰기 간격은 국소적이고 세밀한 관계를 포착하고, 긴 건너뛰기 간격은 더 넓은 구조적 구조를 포착한다.
• 이 방법은 정확한 전이 행렬(A^k)의 암묵적 인수분해를 샘플링을 통해 수행함으로써, GraRep에서처럼 밀도 높은 행렬을 명시적으로 계산하고 저장하는 데서 오는 계산의 비현실성을 피한다.
• 알고리즘은 온라인 및 증분적 설계로 되어 있어, 수백만 개의 정점과 간선을 포함한 그래프에 효율적으로 확장 가능하다.
• 이 방법은 행렬 인수분해 이론에 기반하며, 각 척도는 인접 행렬의 k제곱에 대한 별개의 인수분해에 해당한다.

실험 결과

연구 질문

• RQ1 분석적으로 유도 가능하고 해석 가능한 방식으로, 정점 간 관계의 다중 척도를 명시적으로 인코딩할 수 있는 네트워크 임베딩을 학습할 수 있는가?
• RQ2 단일 척도 표현에 비해, 다중 척도 관계를 모델링하면 다중 레이블 네트워크 분류 작업에서 성능이 어떻게 향상되는가?
• RQ3 밀도 높은 행렬을 실체화하지 않고도 고품질의 다중 척도 임베딩을 얻을 수 있는가? 이는 대규모 실세계 그래프에 대한 확장성 확보에 기여하는가?
• RQ4 샘플링 기반 접근 방식이 GraRep에서 사용하는 정확한 전이 행렬을 어느 정도 근사하는가?
• RQ5 결과로 도출된 임베딩은 계층적 커뮤니티 구조를 드러내는 데 의미 있는 방식으로 시각화되고 해석될 수 있는가?

주요 결과

• WALKLETS는 다양한 실세계 네트워크에서 도전적인 다중 레이블 분류 작업에서 DeepWalk에 비해 최대 10% 향상된 Micro-F1 성능을 기록한다.
• WALKLETS는 동일한 다중 레이블 분류 벤치마크에서 LINE에 비해 58% 향상된 Micro-F1 성능을 달성한다.
• 이 방법은 낮은 근사 오차를 기록하였으며, DBLP에서는 평균 오차 9.3×10⁻⁵, BlogCatalog에서는 1.4×10⁻⁵를 기록하여 샘플링이 정확한 전이 행렬을 효과적으로 근사하고 있음을 입증한다.
• WALKLETS는 대규모 그래프로의 확장이 원활하며, 온라인 학습 덕분에 수백만 개의 정점과 간선을 포함한 네트워크를 효율적으로 처리할 수 있다.
• 학습된 임베딩은 다중 척도의 구조를 유지하여 세밀한 클리크와 더 넓은 커뮤니티 클러스터를 포함한 계층적 관계를 의미 있는 방식으로 시각화할 수 있다.
• 이 방법은 각 차원이 별개의 연결성 척도에 해당하는 분석적으로 기반을 둔 표현을 제공하여, 더 높은 해석 가능성과 모델의 통찰력을 향상시킨다.