[논문 리뷰] Efficient Representation Learning Using Random Walks for Dynamic Graphs

Hooman Peiro Sajjad, Andrew Docherty외 1명|arXiv (Cornell University)|2019. 01. 05.

Advanced Graph Neural Networks참고 문헌 30인용 수 22

한 줄 요약

이 논문은 동적 그래프에서 정점 표현 학습을 위한 효율적인 증분 알고리즘을 제안한다. 무작위 보행을 활용하여 영향을 받는 정점들과 보행을 추적함으로써 Unbiased Update 및 Incremental 방법은 그래프 변화율에 비례하는 복잡도로 통계적으로 타당한 임베딩을 효율적으로 유지한다. 이는 재학습보다 훨씬 빠르며, 최신 기술 성능을 달성한다.

ABSTRACT

An important part of many machine learning workflows on graphs is vertex representation learning, i.e., learning a low-dimensional vector representation for each vertex in the graph. Recently, several powerful techniques for unsupervised representation learning have been demonstrated to give the state-of-the-art performance in downstream tasks such as vertex classification and edge prediction. These techniques rely on random walks performed on the graph in order to capture its structural properties. These structural properties are then encoded in the vector representation space. However, most contemporary representation learning methods only apply to static graphs while real-world graphs are often dynamic and change over time. Static representation learning methods are not able to update the vector representations when the graph changes; therefore, they must re-generate the vector representations on an updated static snapshot of the graph regardless of the extent of the change in the graph. In this work, we propose computationally efficient algorithms for vertex representation learning that extend random walk based methods to dynamic graphs. The computation complexity of our algorithms depends upon the extent and rate of changes (the number of edges changed per update) and on the density of the graph. We empirically evaluate our algorithms on real world datasets for downstream machine learning tasks of multi-class and multi-label vertex classification. The results show that our algorithms can achieve competitive results to the state-of-the-art methods while being computationally efficient.

연구 동기 및 목표

• 시간이 지남에 따라 변화하는 동적 그래프에 적용할 때 정적 표현 학습 방법의 비효율성을 해결하기 위해.
• 각 그래프 변화 이후 재학습 없이도 정점 임베딩을 업데이트할 수 있는 증분적 접근법을 개발하기 위해.
• 그래프 변화에도 불구하고 업데이트된 무작위 보행이 그래프 구조를 통계적으로 잘 반영하도록 보장하기 위해.
• 전체 그래프 크기 대신 그래프 변화의 정도와 빈도에 따라 계산 비용이 결정되도록 하여 계산 비용을 줄이기 위해.

제안 방법

• 그래프 업데이트로 인해 무효화되는 기존 무작위 보행의 부분을 식별하기 위해 '영향을 받는 정점'과 '영향을 받는 보행'의 개념을 도입한다.
• 기존 무작위 보행을 현재 그래프 구조에 기반한 새로운 세그먼트로 교체함으로써 기존 보행을 증분적으로 수정하는 Unbiased Update 알고리즘을 제안한다.
• 새로 생성된 무작위 보행을 사용하여 정점 표현을 업데이트하는 Incremental 알고리즘을 설계하며, 정적 기준 방법과 일관성을 유지한다.
• 영향을 받는 정점을 포함하는 보행을 우선순위로 삼는 샘플링 전략을 사용하여 불필요한 재계산를 최소화한다.
• 정적 알고리즘이 수행하는 전면 재계산와 동일한 통계적 등가성을 업데이트된 보행이 확보되도록 보장한다.
• 무작위 보행과 스킵그램 모델 간의 관계를 활용하여, 음성 샘플링을 사용한 스킵그램(SGNS)을 통해 임베딩을 증분적으로 학습한다.

실험 결과

연구 질문

• RQ1 전체 재학습 없이도 동적 그래프에서 기반 무작위 보행 표현 학습을 효율적으로 업데이트할 수 있는가?
• RQ2 증분 업데이트 과정에서 무작위 보행의 통계적 타당성을 어떻게 유지할 수 있는가?
• RQ3 증분 임베딩 업데이트의 계산 복잡도는 그래프 변화의 정도에 비례하는가?
• RQ4 정점 분류와 같은 후행 작업에서 증분 방법은 정적 기준 방법과 어떻게 비교되는가?
• RQ5 증분 업데이트가 계산 비용을 줄이면서도 최신 기술 성능을 유지할 수 있는가?

주요 결과

• Unbiased Update 알고리즘은 정적 알고리즘이 생성하는 보행과 통계적으로 구분되지 않으며, 이는 표현 품질을 보장한다.
• Incremental 알고리즘은 다중 클래스 및 다중 레이블 정점 분류 작업에서 경쟁력 있는 성능을 달성하며, 실제 데이터셋에서 정적 기준 방법과 동일하거나 이를 초월한다.
• Cora와 CoCit에서 Naïve Update 알고리즘이 정적 방법보다 略적으로 성능이 열등하여 단순한 증분 업데이트의 한계를 보여준다.
• 제안된 방법의 계산 비용은 업데이트당 변경된 간선 수에 비례하므로, 변화율이 낮거나 중간 수준인 그래프에 대해 효율적이다.
• 훈련 데이터 크기가 다양할 때도 안정적인 성능을 보이며, 이는 증분 접근의 강건성과 신뢰성을 시사한다.