[논문 리뷰] Learning Topological Representation for Networks via Hierarchical Sampling

Guoji Fu, Chengbin Hou외 1명|arXiv (Cornell University)|2019. 02. 15.

Complex Network Analysis Techniques참고 문헌 26인용 수 9

한 줄 요약

이 논문은 공동체 인식 기반의 계층적 샘플링 전략을 통해 네트워크를 반복적으로 압축함으로써 국소적이고 전역적 구조적 정보를 모두 포착하는 새로운 네트워크 표현 학습 프레임워크인 HSRL을 제안한다. 여러 압축된 네트워크 수준에서 노드 임베딩을 학습하고 이를 연결함으로써, 다섯 개인 실세계 데이터셋에서 링크 예측 작업에서 최신 기술보다 유의미하게 뛰어난 성능을 내며, 특히 대규모 네트워크에서 두드러진 성능 향상을 보였다.

ABSTRACT

The topological information is essential for studying the relationship between nodes in a network. Recently, Network Representation Learning (NRL), which projects a network into a low-dimensional vector space, has been shown their advantages in analyzing large-scale networks. However, most existing NRL methods are designed to preserve the local topology of a network, they fail to capture the global topology. To tackle this issue, we propose a new NRL framework, named HSRL, to help existing NRL methods capture both the local and global topological information of a network. Specifically, HSRL recursively compresses an input network into a series of smaller networks using a community-awareness compressing strategy. Then, an existing NRL method is used to learn node embeddings for each compressed network. Finally, the node embeddings of the input network are obtained by concatenating the node embeddings from all compressed networks. Empirical studies for link prediction on five real-world datasets demonstrate the advantages of HSRL over state-of-the-art methods.

연구 동기 및 목표

• 기존의 네트워크 표현 학습(NRL) 기법들이 국소적 구조에만 집중하고 대규모 네트워크에서 전역적인 구조적 관계를 유지하지 못하는 한계를 해결하기 위해.
• HARP에서의 열악한 네트워크 압축 전략이 최적화를 오도하고 열악한 국소 최솟값으로 이어질 수 있는 문제를 해결하기 위해.
• 다양한 네트워크 수준에서 국소적 및 전역적 구조적 정보를 모두 유지하는 공동체 인식 기반의 계층적 압축 방법을 개발하기 위해.
• 다양한 압축된 네트워크 수준에서의 노드 임베딩을 연결함으로써 링크 예측과 같은 후속 작업에서 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• HSRL은 공동체 인식 기반의 샘플링 전략을 사용하여 입력 네트워크를 점진적으로 더 작은 네트워크 계층으로 압축한다.
• 각 압축 수준에서 기존의 NRL 방법(예: DeepWalk, node2vec, LINE)을 적용하여 압축된 네트워크의 노드 임베딩을 학습한다.
• 각 원래 노드의 최종 노드 임베딩은 모든 압축된 네트워크 수준에서의 임베딩을 연결함으로써 확보된다.
• 계층적 압축 전략은 각 수준에서 국소적 이웃과 장거리 전역 관계가 모두 유지됨을 보장한다.
• 수학적으로 이 프레임워크는 최종 노드 표현에 국소적 및 전역적 구조적 정보를 명시적으로 통합함을 보여준다.
• 모든 기존 NRL 알고리즘과 호환되어 최신 임베딩 모델과 즉각 통합 가능하다.

실험 결과

연구 질문

• RQ1 공동체 구조를 유지하는 계층적 압축 전략이 네트워크 표현 학습에서 전역적 구조적 정보를 더 잘 포착하는 데 기여하는가?
• RQ2 다양한 압축된 네트워크 수준에서의 노드 임베딩을 연결하면 단일 수준의 임베딩보다 링크 예측 성능이 향상되는가?
• RQ3 HSRL은 DeepWalk, node2vec, LINE 및 HARP와 같은 최신 NRL 기법들에 비해 링크 예측 정확도에서 어떻게 성능을 내는가?
• RQ4 비볼록 최적화 설정에서 HSRL은 낮은 국소 최솟값으로 수렴할 위험을 어느 정도 완화하는가?
• RQ5 HSRL의 성능은 임베딩 차원 수와 압축 수준의 수와 같은 하이퍼파라미터에 얼마나 민감한가?

주요 결과

• HSRL은 다섯 개인 실세계 데이터셋에서 링크 예측 작업에서 DeepWalk, node2vec, LINE 및 HARP를 모두 유의미하게 뛰어넘었으며, 윌코크슨 부호순위 검정에서 p값이 0.05 이하였다.
• Douban 데이터셋에서 HSRL은 최고의 베이스라인인 DeepWalk에 비해 18.4%의 상대적 향상을 기록하여 대규모 네트워크에서 두드러진 성능 향상을 보였다.
• DBLP 데이터셋에서 HSRL은 DeepWalk를 사용할 경우 최고의 베이스라인 대비 6.3% 향상되었고, node2vec를 사용할 경우 19.9% 향상되어 다양한 NRL 기법에 대해 안정적인 성능을 보였다.
• Yelp 데이터셋에서 node2vec를 사용할 경우 HSRL은 30.5%의 상대적 향상을 기록하여 희소하거나 복잡한 네트워크에서의 효과성을 입증하였다.
• 압축 수준 수(K)가 3를 초과할 경우 HSRL의 성능이 안정화됨을 관찰하여 대부분의 네트워크에서 세 수준의 압축으로 계층적 구조를 충분히 포착할 수 있음을 시사했다.
• HSRL의 실행 시간은 베이스라인 대비 최대 3배 높으며, 입력 크기와 선형적으로 증가하며, 병렬 처리를 통해 추가로 빠르게 만들 수 있다.