[논문 리뷰] COSINE: Compressive Network Embedding on Large-scale Information Networks

Zhengyan Zhang, Cheng Yang외 5명|arXiv (Cornell University)|2018. 12. 21.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

COSINE는 그래프 분할을 통해 노드를 그룹화하여 노드 간 파rameter 공유를 통해 메모리 사용량을 줄이고 학습 속도를 높이는 압축 네트워크 임베딩 프레임워크를 제안한다. 분할을 통해 구조적 유사성을 활용함으로써, 동일한 메모리 제약 조건 하에서도 노드 분류와 링크 예측 성능을 최대 25% 향상시키고 학습 시간을 30%–70% 감소시킨다.

ABSTRACT

There is recently a surge in approaches that learn low-dimensional embeddings of nodes in networks. As there are many large-scale real-world networks, it's inefficient for existing approaches to store amounts of parameters in memory and update them edge after edge. With the knowledge that nodes having similar neighborhood will be close to each other in embedding space, we propose COSINE (COmpresSIve NE) algorithm which reduces the memory footprint and accelerates the training process by parameters sharing among similar nodes. COSINE applies graph partitioning algorithms to networks and builds parameter sharing dependency of nodes based on the result of partitioning. With parameters sharing among similar nodes, COSINE injects prior knowledge about higher structural information into training process which makes network embedding more efficient and effective. COSINE can be applied to any embedding lookup method and learn high-quality embeddings with limited memory and shorter training time. We conduct experiments of multi-label classification and link prediction, where baselines and our model have the same memory usage. Experimental results show that COSINE gives baselines up to 23% increase on classification and up to 25% increase on link prediction. Moreover, time of all representation learning methods using COSINE decreases from 30% to 70%.

연구 동기 및 목표

• 높은 메모리 사용량과 느린 학습으로 인해 발생하는 대규모 네트워크 임베딩의 확장성 문제를 해결한다.
• 희박한 네트워크에서 저도수 노드의 쿨스타트 문제를 극복한다.
• 임베딩 품질을 훼손하지 않으면서 학습 시간과 메모리 프로파일을 줄인다.
• 기존 네트워크 임베딩 알고리즘에 파rameter 공유를 통합하는 통합 프레임워크를 도입한다.
• 구조적 그룹화를 통해 엄격한 메모리 제약 조건 하에서도 고차원 임베딩을 가능하게 한다.

제안 방법

• 노드의 이웃 구조가 유사한 노드들을 클러스터로 묶기 위해 그래프 분할(예: mt-metis)을 적용한다.
• 노드 간의 구조적 유사성을 식별하기 위해 무작위 보행을 사용하여 그룹 매핑 함수를 구성한다.
• 동일한 그룹에 속한 노드들 간에 임베딩 파rameter를 공유함으로써 유일한 파rameter 수를 감소시킨다.
• 기존 임베딩 알고리즘(예: DeepWalk, LINE, node2vec)에 통합 프레임워크를 통해 파rameter 공유 메커니즘을 통합한다.
• 일천만 개의 노드까지 대규모 네트워크에 효율적으로 스케일링할 수 있도록 다중 스레드 기반 그룹 매핑 프로세스를 사용한다.
• 성능와 효율성의 균형을 맞추기 위해 하이퍼파ram터(노드당 보행 수 γ, 보행 길이 k, 그룹 크기 n)를 최적화한다.

실험 결과

연구 질문

• RQ1 구조적으로 유사한 노드 간의 파rameter 공유가 대규모 네트워크 임베딩의 효율성과 품질을 향상시킬 수 있는가?
• RQ2 그래프 분할 기반의 그룹화가 네트워크 임베딩 모델의 일반화 능력과 학습 속도에 어떤 영향을 미치는가?
• RQ3 파rameter 공유가 대규모 네트워크에서 저도수 노드의 쿨스타트 문제를 어느 정도 완화할 수 있는가?
• RQ4 효율적인 파rameter 공유를 위해 보행 길이, 보행 수, 그룹 크기의 최적 설정은 무엇인가?
• RQ5 COSINE 프레임워크는 다양한 기존 네트워크 임베딩 알고리즘에 적용되었을 때 일관된 성능 향상을 제공할 수 있는가?

주요 결과

• 동일한 메모리 제약 조건 하에서 기준 모델 대비 다중 레이블 분류 성능을 최대 23% 향상시켰다.
• 메모리 사용량을 동일하게 유지하면서 링크 예측 정확도를 최대 25% 향상시켰다.
• 모든 평가된 임베딩 방법에 대해 COSINE를 사용할 경우 학습 시간이 30%에서 70% 감소했다.
• 성능와 효율성의 균형을 고려할 때 최적의 노드당 보행 수 파ram터 γ = 100을 선택했으며, γ = 60을 초과하면 추가적인 성능 향상이 미미했다.
• 보행 길이 k = 5와 그룹 크기 n = 5의 조합이 가장 우수한 성능을 내었으며, 이는 그룹 세트 내의 부정확성과 중복을 최소화했기 때문이다.
• 8개의 스레드를 사용하여 일천만 개 노드의 네트워크에 대한 그룹 매핑이 단 55초 만에 완료되어 뛰어난 확장성을 입증했다.