[논문 리뷰] Parallel Computation of Graph Embeddings

Chi Thang Duong, Hongzhi Yin외 5명|arXiv (Cornell University)|2019. 09. 06.

Advanced Graph Neural Networks참고 문헌 22인용 수 4

한 줄 요약

이 논문은 분산 클러스터에서 병렬 그래프 임베딩을 위한 확장 가능한 프레임워크를 제안하며, 계산 노드 간의 임베딩을 조율하기 위해 앵커 정점을 사용하여 큰 그래프를 부분 그래프로 분해한다. 이는 이론적 오차 경계를 제공하며, 실제 데이터셋에서 이전 방법들보다 확장성과 성능 면에서 뛰어나다.

ABSTRACT

Graph embedding aims at learning a vector-based representation of vertices that incorporates the structure of the graph. This representation then enables inference of graph properties. Existing graph embedding techniques, however, do not scale well to large graphs. We therefore propose a framework for parallel computation of a graph embedding using a cluster of compute nodes with resource constraints. We show how to distribute any existing embedding technique by first splitting a graph for any given set of constrained compute nodes and then reconciling the embedding spaces derived for these subgraphs. We also propose a new way to evaluate the quality of graph embeddings that is independent of a specific inference task. Based thereon, we give a formal bound on the difference between the embeddings derived by centralised and parallel computation. Experimental results illustrate that our approach for parallel computation scales well, while largely maintaining the embedding quality.

연구 동기 및 목표

• 100억 개 이상의 정점과 수조 개의 간선을 가진 큰 그래프에 대해 그래프 임베딩 기법을 확장 가능한 방식으로 적용하는 도전에 대응한다.
• 특히 각 계산 노드의 제한된 메모리 자원으로 인한 자원 제약을 극복한다.
• 독립적으로 처리된 부분 그래프의 임베딩을 조율하여 일관되고 의미 있는 전역 임베딩을 확보하는 방법을 개발한다.
• 하류 추론 작업에 의존하지 않고도 임베딩 품질을 평가할 수 있는 작업에 종속되지 않는 내재적 평가 지표를 제안한다.
• 중앙집중식과 병렬 임베딩 간의 차이에 대한 이론적 경계를 제시하여 품질 보장을 보장한다.

제안 방법

• 각 노드의 메모리 제약을 고려한 제약 있는 그래프 분할 전략을 사용하여 큰 그래프를 부분 그래프로 분해한다.
• 다른 계산 노드에서 유도된 임베딩 공간 간의 정렬을 가능하게 하기 위해 부분 그래프 간에 공유되는 앵커 정점을 도입한다.
• 구조적 중심성과 연결성의 정도가 높은 정점을 우선순위로 삼아 임베딩 왜곡을 최소화하는 새로운 앵커 선택 전략을 적용한다.
• 하류 작업에 의존하지 않고 임베딩 품질을 측정하기 위해 Pairwise Inner Product (PIP) 지표를 내재적 평가 방법으로 사용한다.
• 다른 임베딩 공간 간의 앵커 벡터를 정렬하는 선형 변환을 통해 부분 그래프 임베딩을 조율한다.
• 이론적 분석을 통해 PIP 거리와 앵커 일관성에 기반하여 중앙집중식과 병렬 임베딩 간의 차이에 대한 공식적인 경계를 제공한다.

실험 결과

연구 질문

• RQ1 메모리 제약이 있는 계산 노드 클러스터에 대해 큰 그래프를 어떻게 효과적으로 분할하여 확장 가능한 그래프 임베딩을 가능하게 할 수 있는가?
• RQ2 서로 다른 부분 그래프에서 유도된 임베딩 공간 간의 일관되고 의미 있는 정렬을 보장하는 메커니즘은 무엇인가?
• RQ3 내재적이고 작업에 종속되지 않는 지표가 분산 환경에서 그래프 임베딩의 품질을 신뢰성 있게 평가할 수 있는가?
• RQ4 중앙집중식과 병렬 계산 간의 임베딩 품질 간 이론적 관계는 무엇이며, 이를 경계로 표현할 수 있는가?
• RQ5 제안된 프레임워크는 기존의 분산 그래프 임베딩 방법과 비교해 확장성과 성능 면에서 어떻게 다른가?

주요 결과

• 제안된 앵커 기반 조율 메커니즘은 일관되게 임베딩 품질을 향상시키며, DeepWalk을 사용한 Flickr 데이터셋에서 F1 점수를 0.365에서 0.384로 상승시켰다.
• 조율된 임베딩(Recon-S)은 비조율된 임베딩보다 중앙집중식 임베딩과 더 낮은 PIP 거리를 기록하여 더 높은 정밀도를 보였다.
• DeepWalk을 사용한 Arxiv 데이터셋에서 조율로 링크 예측 AUC(ROC)가 0.843에서 0.878로 향상되었고, AP는 0.883에서 0.899로 상승했다.
• 이 프레임워크는 수억 개의 정점을 가진 그래프에서도 여러 계산 노드에 걸쳐 효율적으로 확장되며, 높은 임베딩 품질을 유지한다.
• 임베딩 차이에 대한 이론적 경계는 PIP 거리 기반으로 유도되었으며, 병렬화로 인한 품질 저하에 대한 공식적인 보장을 제공한다.
• 공유되지 않는 클러스터 환경에서 작동하면서도, GraphSAGE와 SGN과 같은 깊이 신경망 기반 기법을 포함한 모든 임베딩 기법을 지원함으로써, 유일한 기존 클러스터 기반 방법인 PBG를 능가한다.