[논문 리뷰] Fast and Accurate Network Embeddings via Very Sparse Random Projection

Haochen Chen, Syed Fahad Sultan외 3명|arXiv (Cornell University)|2019. 08. 30.

Advanced Graph Neural Networks참고 문헌 35인용 수 4

한 줄 요약

FastRP는 고차원 유사성 관계를 포괄하는 정규화된 노드 유사성 행렬을 구축하고, 차원 감소를 위해 매우 희박한 랜덤 프로젝션을 적용하는 고도로 확장 가능한 네트워크 임베딩 방법이다. 이는 DeepWalk 대비 4,000배 이상의 속도 향상을 달성하면서도 노드 분류 및 링크 예측과 같은 후행 작업에서 성능을 유사하거나 초월한다.

ABSTRACT

We present FastRP, a scalable and performant algorithm for learning distributed node representations in a graph. FastRP is over 4,000 times faster than state-of-the-art methods such as DeepWalk and node2vec, while achieving comparable or even better performance as evaluated on several real-world networks on various downstream tasks. We observe that most network embedding methods consist of two components: construct a node similarity matrix and then apply dimension reduction techniques to this matrix. We show that the success of these methods should be attributed to the proper construction of this similarity matrix, rather than the dimension reduction method employed. FastRP is proposed as a scalable algorithm for network embeddings. Two key features of FastRP are: 1) it explicitly constructs a node similarity matrix that captures transitive relationships in a graph and normalizes matrix entries based on node degrees; 2) it utilizes very sparse random projection, which is a scalable optimization-free method for dimension reduction. An extra benefit from combining these two design choices is that it allows the iterative computation of node embeddings so that the similarity matrix need not be explicitly constructed, which further speeds up FastRP. FastRP is also advantageous for its ease of implementation, parallelization and hyperparameter tuning. The source code is available at https://github.com/GTmac/FastRP.

연구 동기 및 목표

• 샘플링과 차원 감소에서의 고비용 최적화로 인해 높은 상수 요소를 지닌 최신 네트워크 임베딩 방법의 확장성 문제를 해결한다.
• 네트워크 임베딩의 품질은 주로 차원 감소 기법의 선택보다는 적절한 유사성 행렬 구축에 기인한다는 점을 규명한다.
• 유사성 행렬 구축을 고비용 최적화에서 분리하여 반복적이고 메모리 효율적인 계산이 가능한 방법을 개발한다.
• 대규모 그래프에서 표현 품질을 희생시키지 않으면서도 높은 성능과 극도로 빠른 속도 향상을 달성한다.

제안 방법

• 접근 행렬의 거듭제곱을 이용해 다단계 이격 관계를 포괄하는 고차원 유사성 기반의 노드 유사성 행렬을 구성한다.
• A^k의 수렴 성질을 활용하여 고차수 노드의 영향을 감소시키는 새로운 정규화 체계를 도입하며, 효율성을 위해 행렬 곱셈으로 수식화한다.
• Skip-gram과 같은 계산 비용이 높은 모델을 대체할 수 있는 확장 가능하고 최적화가 필요 없는 차원 감소 기법으로 매우 희박한 랜덤 프로젝션(VSRP)을 활용한다.
• 정규화와 VSRP를 조합하여 임베딩의 반복적 계산을 가능하게 하여 전체 유사성 행렬의 명시적 저장을 피한다.
• 전체 파이프라인을 행렬 연산의 시퀀스로 수식화하여 병렬 처리 및 효율적 구현을 지원한다.
• 정규화된 유사성 행렬과 VSRP의 수학적 구조를 활용해 스트리밍 또는 점진적 계산이 가능하게 하여 메모리 오버헤드를 감소시킨다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 최적화에서 유사성 행렬 구축을 분리함으로써 고속과 고정확도를 동시에 달성할 수 있는 네트워크 임베딩 방법이 가능한가?
• RQ2 희박한 실세계 그래프에서 노드 차수의 적절한 정규화는 학습된 임베딩의 품질에 어떤 영향을 미치는가?
• RQ3 기존의 밀도 높은 또는 가우시안 랜덤 프로젝션과 비교해 매우 희박한 랜덤 프로젝션은 확장성과 표현 품질 측면에서 어떻게 다른가?
• RQ4 정규화된 유사성 행렬과 희박한 랜덤 프로젝션의 조합을 통해 임베딩의 반복적 계산이 가능해지는가?
• RQ5 DeepWalk과 같은 최신 기법의 성능을 속도 측면에서 얼마나 초월할 수 있는가, 동시에 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• FastRP는 유튜브 그래프에서 DeepWalk 대비 4,000배 이상의 속도 향상을 달성하여, 수일이 아닌 수분 내에 임베딩을 완료한다.
• FastRP는 다양한 실세계 네트워크에서 노드 분류 및 링크 예측 작업에서 DeepWalk 및 node2vec와 유사하거나 더 뛰어난 품질의 임베딩을 생성한다.
• 정규화된 유사성 행렬 구축은 고차수 노드의 지배를 완화함으로써 임베딩 품질을 크게 향상시키며, 이는 이전 연구에서 간과된 요소이다.
• 매우 희박한 랜덤 프로젝션은 반복 최적화가 필요 없는 고속 차원 감소를 가능하게 하여, Skip-gram 기반 방법과는 대조된다.
• 반복적 계산 프레임워크 덕분에 FastRP는 전체 유사성 행렬을 명시적으로 생성하지 않아도 되어 메모리 사용량을 줄이고 확장성을 향상시킨다.
• 이 방법은 쉽게 병렬 처리가 가능하며, 최소한의 하이퍼파rameter 튜닝이 필요하여 실무 적용의 용이성을 높인다.